wl. 


uienes  trabajan  en  programas  y  pi 
sociales  requieren  concepciones  y  herrai 


tas  adecuadas  para  evaluar  sus  proi 
acciones  y  las  de  los  demás.  Superando  el  ti 
nal  sentido  de  control  o  supervisión  de  unos  a 
sobre  otros,  este  libro  concibe  la  evaluación  en 
plano  del  aprendizaje  compartido  entre  qi 
programan,  ejecutan  y  evalúan.  Se  entiende,  ei 
ces,  como  un  instrumento  social  que,  al  tran 
información  en  nuevo  conocimiento,  se  con 
en  una  herramienta  para  la  acción  ori 
mejorar  la  situación  de  los  grupos  humanos  en 
diciones  desventajosas. 

Desde  el  análisis  minucioso  de  la  definición  de 
luación,  el  texto  ahonda  en  sus  vinculaciones  con 
método  científico,  los  criterios  de  validación  y 
racionalización,  y  las  técnicas  evaluativas 
usuales.  Asimismo  se  describe  el  proceso  de  di 
de  un  modelo  evaluativo,  con  sus  diferentes  fases 
aplicación,  que  será  de  utilidad  para  los  trafr 
res  que  se  desempeñan  en  el  campo  social. 
Elemento  clave  de  la  programación  de  las  polrti 
sociales,  la  evaluación  surge  como  una  herrami 
indispensable  en  los  proyectos  sociales  que  apunten 
a  modificar  las  situaciones  de  adversidad,  vulnerabi¬ 
lidad  y  desigualdad  en  que  se  encuentran  ciertos 
grupos  poblacionales. 
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PROLOGO 


El  título  del  libro  Evaluar  para  la  transformación  ade¬ 
lanta  la  intención  de  las  autoras,  fruto  de  su  aquilatada 
experiencia  en  la  formulación  y  evaluación  de  programas 
sociales.  Y  esta  intención  se  resume,  a  nuestro  juicio,  en 
la  propuesta  de  una  reflexión  profunda  del  significado  de 
la  evaluación  como  elemento  clave  en  la  programación 
de  las  políticas  sociales. 

Es  frecuente,  en  los  análisis  de  esta  problemática, 
confundir  la  actividad  de  evaluación  -con  los  supuestos 
de  racionalidad  implícitos  en  ella-  con  la  de  programa¬ 
ción.  Atribuir  a  la  programación  -entendida  como  la 
asignación  de  recursos  ex  ante-  un  carácter  racional  en 
todos  los  casos  induce  a  error.  La  programación,  como 
metodología  de  asignación  de  cualquier  tipo  de  recurso 
en  la  sociedad,  puede  ser  racional  o  irracional  tanto  en 
objetivos  como  en  métodos,  y  es  de  suma  importancia  te¬ 
ner  en  claro  este  punto  al  abordar  este  tema,  especial¬ 
mente  en  la  evaluación  de  programas. 

En  este  trabajo,  Nirenberg,  Brawerman  y  Ruiz  hacen 
un  minucioso  análisis  del  significado  de  la  evaluación  en 
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la  programación,  partiendo  del  entendimiento  claro  y 
simple  (pero  pocas  veces  incorporado  en  los  textos)  de 
que  la  evaluación  no  es  una  parte  inicial  o  final  del  pro¬ 
ceso  de  creación  u  operación  de  un  proyecto  o  programa 
social,  sino  que  se  trata  de  un  elemento  constitutivo  e  in¬ 
separable  del  mismo.  Es  el  núcleo  motor  de  la  racionali¬ 
dad  de  la  que  debiera  estar  dotado  todo  proyecto  desti¬ 
nado  a  modificar  una  realidad  social,  desde  el  comienzo 
hasta  más  allá  de  su  finalización,  desde  las  ideas  iniciales 
que  guían  al  programador  en  su  diseño  hasta  el  momen¬ 
to  en  que,  cumplidos  los  objetivos,  es  necesario  reflexio¬ 
nar  tanto  sobre  los  efectos  de  lo  propuesto  y  actuado  co¬ 
mo  sobre  las  consecuencias  -deseadas  y  no  deseadas-  de 
los  procesos  que  se  han  puesto  en  marcha. 

En  este  sentido,  en  todo  el  texto  hay  un  explícito  recha¬ 
zo  a  pensar  la  evaluación  como  un  momento  aislado,  parcial 
y  confinado  en  el  tiempo,  reafirmando  el  papel  del  “apren¬ 
dizaje”  que  ésta  brinda  como  punto  de  partida  y  de  llegada, 
de  prueba  abierta  y  permanente  base  de  nuevas  propuestas 
y  gestiones  superadoras  en  la  política  y  en  la  gestión  social. 

Un  análisis  apresurado  podría  llevar  a  confundir  esta 
concepción  de  la  evaluación  con  la  racionalidad  que  We- 
ber1  define  como  propia  de  la  modernidad  y  del  capita¬ 
lismo,  racionalidad  instrumental  u  operativa  en  la  que  fi¬ 
nes,  medios  y  condiciones  son  analizados  por  el  actor  y 
esto  le  permite  elegir  las  conductas  que  lo  llevarán,  con 
los  medios  disponibles,  a  alcanzar  los  fines  “racional¬ 
mente  seleccionados”.  A  su  vez,  Mayntz,2  profundizando 


1.  Weber,  M.:  Economía  y  sociedad,  México,  Fondo  de  Cultura  Econó¬ 
mica,  1964. 

2.  Mayntz,  R.:  Sociología  de  la  administración  pública ,  Madrid,  Alianza, 
1994. 
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esta  caracterización,  en  su  análisis  del  sistema  (modelo) 
político-administrativo  moderno,  redefine  el  problema 
de  la  racionalidad  instrumental  en  la  gestión  del  subsis¬ 
tema  administrativo,  mostrando  las  variaciones  que  re¬ 
gistra  ésta  de  acuerdo  con  la  ampliación  y  evolución  de 
sus  funciones.  En  la  etapa  constitutiva  del  Estado  moder¬ 
no,  tanto  en  el  absolutismo  fundante  como  en  el  período 
del  Estado  gendarme  del  liberalismo,  el  predominio  de 
funciones  como  las  de  recaudación,  orden  externo  e  in¬ 
terno  hacen  que  domine  una  racionalidad  burocrática, 
cuyo  criterio  de  éxito  se  basa  en  el  apego  a  la  norma,  in¬ 
dependientemente  de  los  efectos  que  ella  tenga. 

La  propia  evolución  del  Estado,  en  el  posterior  perío¬ 
do  democrático  de  participación,  se  acompaña  de  nuevas 
funciones  (obras  públicas,  desarrollo  económico,  políti¬ 
cas  de  bienestar  social)  y  se  corresponde  con  un  nuevo 
modelo  de  gestión,  el  de  la  planificación,  cuyos  criterios 
de  éxito  (y  racionalidad)  se  basan  en  el  cumplimiento  de 
“metas”  que  sustituyen  la  racionalidad  burocrática.  De 
este  modo,  para  las  autoras,  coexisten  en  el  seno  del  Es¬ 
tado  dos  tipos  de  racionalidad  instrumental,  con  distin¬ 
tos  argumentos. 

Pese  a  esta  distinción  que  surge  de  los  paradigmas 
normas-metas,  la  base  de  racionalidad  sigue  teniendo  ca¬ 
racterísticas  parciales,  de  tipo  instrumental.  Así  concebi¬ 
da,  la  racionalidad  del  planificador,  aunque  distinta  de  la 
del  burócrata,  se  detiene  en  el  momento  en  que  alcanzó 
el  objetivo  propuesto  en  el  plan  o  proyecto.  La  exigencia 
-como  afirmamos-  es  llegar  a  la  meta,  cumplir  acabada¬ 
mente  con  los  fines  del  plan.  En  ambos  casos,  la  raciona¬ 
lidad  aparece  como  un  elemento  fragmentado,  dada  su 
definición  instrumental,  es  decir,  parcial. 


15 


Olga  Nirenberg,  Josette  Brawerman,  Violeta  Ruiz 

Esta  concepción  limitada  se  contrapone  con  la  racio¬ 
nalidad  asociada  a  la  evaluación,  que  constituye  el  mode¬ 
lo  de  la  propuesta  contenida  en  este  libro  y  que  R.  Gó¬ 
mez3  (utilizando  los  criterios  epistemológicos  de  K.  O. 
Apel)  caracteriza  como  comprehensiva,  en  tanto  discute  o 
elucida  la  propia  racionalidad  (y  justeza)  de  los  fines  que 
se  persiguen. 

La  mera  racionalidad  instrumental,  restringida  y  frag¬ 
mentaria,  está  irremediablemente  ligada  a  una  concep¬ 
ción  de  la  sociedad  y  su  organización,  y  elimina  la  refle¬ 
xión  sobre  las  consecuencias  de  la  acción,  con  un  notorio 
empobrecimiento  y  limitación  en  el  análisis,  tanto  a  ni¬ 
vel  epistemológico  como  de  la  propia  concepción  de  la 
sociedad,  de  su  organización,  de  los  “modos  aceptados 
como  racionales  y  para  la  acción  social  misma”. 

La  propuesta  evaluativa  que  se  aborda  en  este  texto 
-en  tanto  elaborada  como  proceso  que  abarca  y  contiene 
todo  el  desarrollo  del  plan  o  proyecto,  sometiendo  a  crí¬ 
tica  sistemática  no  sólo  los  fines  seleccionados  y  el  ajuste 
de  la  operación  a  éstos  sino  además,  y  fundamentalmen¬ 
te,  los  efectos  deseados  y  no  deseados  de  la  implementa- 
ción,  y  aun  el  propio  ejercicio  de  la  evaluación  misma, 
mediante  la  “metaevaluación”-,  supera  los  límites  de  la 
razón  instrumental  y  de  la  crítica  expuesta. 

Un  elemento  destacable  de  esta  propuesta  es  el  de  la 
profunda  asociación  que  se  establece  en  el  texto  entre  eva¬ 
luación  y  método  científico,  relación  estrechamente  ligada 
a  la  concepción  de  racionalidad  anteriormente  expuesta. 
Sin  embargo,  esta  asociación  está  lejos  de  identificar  am¬ 
bas  actividades,  e  ignora  sus  diferencias.  Recuperando  la 


3.  Gómez,  R.:  Neoliberalismo  y  seudociencia,  Buenos  Aires,  Lugar,  1995. 


16 


Prólogo 


distinción  que  Bunge4  hace  entre  ciencia  y  tecnología,  la 
programación-evaluación  aparece  firmemente  encuadrada 
en  los  cánones  del  método  científico,  respondiendo  a  sus 
exigencias  de  prueba  y  verificación,  pero  con  identidad 
propia,  en  tanto  acción  práctica  dirigida  a  la  transforma¬ 
ción,  a  la  operación  sobre  la  realidad  social. 

Un  aspecto  sobresaliente  del  trabajo  reside  en  el  es¬ 
fuerzo  didáctico  con  que  se  ha  asumido  la  tarea  a  lo  lar¬ 
go  de  los  seis  capítulos  que  componen  el  libro. 

Desde  el  análisis  minucioso  de  la  propia  definición  de 
evaluación  y  sus  implicancias,  sus  vinculaciones  con  el 
método  científico,  los  criterios  de  validación  y  operacio- 
nalización,  el  análisis  de  las  técnicas  hasta  la  matriz  de 
evaluación,  la  metodología  expositiva  elegida  privilegia 
en  todos  los  temas  tanto  la  desmitificación  de  cuestiones 
aparentemente  irreductibles  (como  es,  por  ejemplo,  la 
aparente  antinomia  entre  lo  cuantitativo  vs.  lo  cualitati¬ 
vo  en  investigación  social),  como  las  definiciones  senci¬ 
llas  y  accesibles,  tanto  para  quien  se  asoma  por  primera 
vez  a  estas  cuestiones  como  para  los  especialistas  intere¬ 
sados  en  otras  perspectivas  analíticas. 

El  tratamiento  de  estos  problemas  resulta  relevante  en 
nuestro  país,  particularmente  en  el  ámbito  de  las  políticas 
sociales,  dado  que  éstas  muestran  -con  escasas  excepcio¬ 
nes-  una  generalizada  orfandad  tanto  en  la  evaluación  co¬ 
mo  en  la  formulación  y  gestión  de  programas  y  proyectos. 

Resulta  doblemente  paradójico  que  esto  ocurra  en  la 
Argentina,  a  la  luz  de  su  temprana  vocación  en  la  formu¬ 
lación  de  programas  sociales  y  de  salud  a  partir  de  la  dé¬ 
cada  del  cuarenta,  ya  que  al  mismo  tiempo,  y  en  sentido 


4.  Bunge,  M.:  ¿  Qué  es  la  ciencia ?,  Buenos  Aires,  Siglo  XXI,  1960. 
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contrario,  aun  con  distintas  definiciones,  en  el  resto  de 
América  Latina,  países  como  Chile,  Venezuela  y  Cuba, 
entre  otros,  han  recurrido  al  modelo  de  la  planificación 
como  método  de  enfocar  su  problemática  social. 

Seguramente  son  múltiples  los  factores  que  explican 
la  renuencia  del  sector  público  a  incorporar  la  programa¬ 
ción  (y  la  evaluación)  con  estos  criterios  de  racionalidad 
en  la  gestión  de  los  programas  sociales.  Entre  ellos,  cons¬ 
tituye  un  elemento  de  peso  la  prevalencia  en  el  subsiste¬ 
ma  administrativo  del  Estado  argentino  de  una  “cultura 
excesivamente  burocrática”,  que  se  ha  convertido  en  la 
orientación  cuasi  universal  de  toda  gestión  de  Estado, 
trascendiendo  los  periódicos  cambios  de  gobierno  e, 
incluso,  la  alternancia  entre  modalidades  democráticas  y 
autoritarias  que  se  sucedieron  en  los  últimos  cuarenta 
años. 

De  este  modo,  en  la  formulación  y  ejecución  de  la  po¬ 
lítica  social,  aunque  las  acciones  y  los  propósitos  se  eti¬ 
queten  con  frecuencia  con  el  nombre  de  “programas”  y 
recurran  en  no  pocos  casos  a  la  liturgia  formal  de  la  pro¬ 
pia  programación,  sus  criterios  de  ejecución,  racionali¬ 
dad  y  éxito  se  atienen  a  los  cánones  estrictos  del  procedi¬ 
miento  contable,  siendo  el  principal,  y  a  veces  el  único 
criterio  de  ejecución,  su  apego  al  reglamento  y  a  las  nor¬ 
mas  de  contabilidad  pública. 

Esta  característica  negativa  “administrativista”  que  ti¬ 
ñe  la  política  social  argentina  no  puede  desvincularse  del 
propio  accionar  del  subsistema  político  en  el  marco  del 
Estado.  Esto  se  debe,  a  nuestro  juicio,  en  parte,  a  una  fa¬ 
lencia  generalizada  de  dicho  subsistema  (el  político),  el 
cual,  además  de  carecer  de  información  y  condiciones 
técnicas  que  le  permitan  limitar  y  controlar  eficazmente 
el  poder  real  del  subsistema  administrativo,  se  ha  volca¬ 
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do  crecientemente  a  utilizar  las  políticas  sociales  con  un 
sentido  fuertemente  clientelístico,  y  para  cuyo  ejercicio 
la  programación  y  la  evaluación  resultan  superfluas. 
Igual  consideración  merece,  a  nuestro  juicio,  la  gestión 
en  las  políticas  sociales  de  un  número  importante  de 
ONG,  que  han  pasado  a  formar  parte  subsidiaria  de  la 
cadena  mencionada  de  acciones  clientelares. 

El  conjunto  de  estas  consideraciones  nos  permite  afir¬ 
mar  que  sin  duda  la  lectura  de  Evaluar  para  la  transforma¬ 
ción  es  ineludible,  sobre  todo  para  quienes  asuman  la  ta¬ 
rea  de  la  planificación  social,  para  todos  los  que  desean 
resolver  las  cuestiones  que  preocupan  a  Alicia  (y  no  sólo 
a  ella)  acerca  de  dónde  está  parada  y  cómo  llegar  al  fin 
del  camino. 


Leopoldo  Halperín 
agosto  de  1999 
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La  imagen  que  nosotros  construimos  de  la  sociedad ,  la 
construimos  para  los  ingenieros  hidráulicos ,  para  los  jardi¬ 
neros..^  para  los  revolucionarios.  Todos  ellos  son  invitados 
a  nuestro  teatro  y  les  pedimos  que  no  olviden  su  interés  en 
la  representación  cuando  estén  con  nosotros ,  porque  quere¬ 
mos  volcar  el  mundo  sobre  sus  cerebros  y  sus  corazones ,  pa¬ 
ra  que  puedan  cambiarlo  de  acuerdo  con  sus  deseos. 

Bertolt  Brecht1 

En  este  libro  nos  dirigimos  fundamentalmente  a 
aquellos  que  desarrollan  acciones  sociales,  ya  sea  que  for¬ 
mulen  o  que  ejecuten  programas  o  proyectos,  tanto  des¬ 
de  organizaciones  de  la  sociedad  civil  como  desde  distin¬ 
tas  áreas  de  los  diferentes  niveles  gubernamentales.  Son 
ellos  o  ellas  quienes  se  habrán  visto  más  de  una  vez  en  la 
urgente  necesidad  de  evaluar  sus  acciones  y  las  de  otros, 
pero  desprovistos  de  las  concepciones  y  herramientas 
adecuadas  para  tal  responsabilidad.  Creemos  que  tam¬ 
bién  podrá  ser  de  utilidad  para  agencias  de  cooperación 
o  filantrópicas  que  apoyan  proyectos  y  programas  brin¬ 
dando  financiamiento,  asesoramiento  y/o  capacitación 
para  temas  de  desarrollo  social. 

Uno  de  nuestros  propósitos  principales  es  el  de  des¬ 
pegar  el  sentido  de  la  evaluación  del  puro  control  que 
ejercen  unos  actores  sobre  otros,  para  situarlo  en  el  pla- 


1.  Brecht,  B.:  Kleines  Organon  für  das  Theater,  Schriften  zum  Theater , 
Francfort,  Suhrkamp,  1964,  pág.  20. 
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no  del  aprendizaje  compartido  entre  quienes  participan 
de  las  gestiones  de  los  programas  o  proyectos,  de  modo 
que  sean  capaces  de  provocar  las  transformaciones  nece¬ 
sarias  en  las  situaciones  insatisfactorias  y  en  los  modos  de 
actuar  para  su  resolución. 

Cuando  decimos  que  nos  importa  la  evaluación  para 
la  transformación,  hacemos  referencia  al  menos  a  dos 
niveles  en  los  que  las  transformaciones  deberían  produ¬ 
cirse.  Uno  es  el  de  contribuir  a  modificar  las  situacio¬ 
nes  de  adversidad,  vulnerabilidad  o  inequidad  en  que  se 
encuentran  ciertos  grupos  poblacionales;  como  aclara¬ 
remos  posteriormente,  todo  proyecto  o  programa  so¬ 
cial  se  formula  para  cambiar  situaciones  de  ese  tipo,  y  la 
evaluación  debe  mostrar  en  qué  medida  se  produjo  el 
cambio  deseable  y  debido  a  qué  factores.  Otro  es  mos¬ 
trar  de  qué  manera  las  acciones  desplegadas  para  pro¬ 
ducir  esas  transformaciones  resultan  o  no  las  adecuadas, 
y  qué  cambios  se  aconsejan  introducir  en  la  forma  de 
hacer  las  cosas.  De  modo  que  principalmente  estamos 
hablando  de  evaluación  para  la  acción  transformadora. 

Compartimos  el  pensar  de  Krishnamurti  (1998)  acer¬ 
ca  de  que  no  podrá  existir  una  transformación  del  “or¬ 
den”  internacional  -del  mundo-  si  no  hay  transforma¬ 
ciones  en  el  ser  humano,  en  su  propio  mundo  interior,  en 
sus  concepciones,  en  sus  formas  de  mirar  lo  que  lo  rodea 
y,  sobre  todo,  en  las  formas  de  vincularse  con  los  demás 
humanos  y  con  el  ambiente.  En  tal  sentido,  puede  ha¬ 
blarse  también  de  la  existencia  de  un  pensamiento  trans¬ 
formador. 

Si  bien  a  lo  largo  del  texto  reiteramos  que  la  evalua¬ 
ción,  considerada  como  una  tecnología  social,  consiste 
básicamente  en  transformar  información  en  nuevo  cono¬ 
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cimiento,  entendemos  ese  mecanismo  como  instrumen¬ 
tal  para  la  acción  orientada  a  transformar  las  situaciones 
de  grupos  humanos  en  condiciones  desventajosas.  Es  por 
eso  que,  pese  a  las  similitudes,  la  evaluación  se  distingue 
de  la  investigación  social. 

No  intentaremos  aquí  discutir  otros  enfoques  ni  cri¬ 
ticar  otras  formas  de  evaluar;  más  bien  tomamos  los 
aportes  que  cada  una  de  esas  modalidades  puede  brin¬ 
dar,  incluyéndolas  en  un  esquema  abarcativo.  Sí  intenta¬ 
remos  aclarar  algunas  confusiones  provenientes  tanto  de 
distintos  usos  lingüísticos  para  nombrar  las  mismas  co¬ 
sas  como  de  iguales  términos  para  nombrar  cosas  distin¬ 
tas,  como  puede  verse  sobre  todo  en  los  capítulos  2  y  3, 
donde  discutimos  los  diferentes  tipos  y  abordajes  de 
evaluación  y  desmitificamos  algunas  de  las  distinciones 
tradicionales. 

La  mirada  evaluativa  que  aquí  proponemos  es  inte- 
gradora,  comprehensiva,  con  momentos  de  detalle  y  mo¬ 
mentos  de  síntesis  gestáltica. 

Este  libro  no  sirve  como  manual  o  receta  para  evaluar 
de  forma  universal  todo  tipo  de  proyecto  o  programa;  en 
tal  sentido  no  desarrolla  instrumentos  sino  que  procura 
transmitir  la  concepción  de  cuáles  son  los  procesos  re¬ 
queridos  y  las  orientaciones  acerca  de  las  formas  de  en¬ 
cararlos,  para  diseñar  evaluaciones  distintas  para  los  dife¬ 
rentes  proyectos  o  programas  donde  los  profesionales 
del  campo  social  solemos  hacer  cada  vez  una  nueva  expe¬ 
riencia. 

Para  cumplir  con  nuestro  propósito  dividimos  el  tex¬ 
to  en  seis  capítulos  y  dos  anexos. 

El  primer  capítulo  pretende  dejar  aclarada  nuestra 
concepción  general  acerca  de  la  evaluación  y  su  utilidad 
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como  función  de  la  gerencia,  es  decir,  incluida  en  la  ges¬ 
tión  social.  El  segundo  capítulo  hace  una  recorrida  por  las 
tipologías  usuales  de  la  evaluación  en  la  literatura  consul¬ 
tada  y,  como  ya  advertimos,  se  abordan  algunas  discusio¬ 
nes  aclaratorias  al  respecto.  En  el  tercer  capítulo  habla¬ 
mos  de  los  abordajes,  de  los  falsos  dilemas  entre  las  cifras 
y  las  palabras  -lo  “cuanti”  y  lo  “cuali”-  que  envolvieron 
durante  años  la  cuestión  de  la  evaluación  y  que  ahora  pa¬ 
recieran  ir  superándose,  aunque  no  del  todo,  concluyen¬ 
do  que  es  el  rigor  metodológico  lo  que  importa  en  las 
evaluaciones  y  que  es  sólo  mediante  la  subjetividad  de 
muchos  diferentes  que  se  puede  resolver  la  subjetividad 
individual,  aislada  e  idéntica  a  sí  misma.  El  cuarto  capítu¬ 
lo  presenta  una  reseña  de  las  técnicas  a  las  cuales  puede 
recurrir  la  evaluación  para  generar  o  recopilar  y  analizar 
información,  sin  pretender  con  eso  tratar  la  cuestión  de 
forma  exhaustiva,  pues  es  tal  el  caudal  de  técnicas  existen¬ 
tes  que  se  requeriría  un  libro  sólo  para  ese  desarrollo;  sin 
embargo,  hemos  incluido  algunas  que  nos  parecieron  no¬ 
vedosas  y  también  discutimos  algunas  otras  que  última¬ 
mente  se  levantaron  al  nivel  de  “métodos”,  pero  que  con¬ 
tinúan  siendo  herramientas  simples  y  útiles  a  disposición 
de  los  evaluadores  (como  las  relacionadas  con  “evaluacio¬ 
nes  rápidas”  o  de  rapid  assessment). 

Finalmente,  los  capítulos  quinto  y  sexto  forman  un 
solo  bloque  pero  los  hemos  dividido  para  dar  un  respiro 
a  los  eventuales  lectores.  En  el  quinto  se  describen  las  ca¬ 
racterísticas  y  los  pasos  del  proceso  de  diseño  de  un  mo¬ 
delo  evaluativo,  y  en  el  sexto  recorremos  las  fases  de  su 
aplicación  y  de  la  diseminación  de  los  hallazgos,  las  con¬ 
clusiones  y  las  recomendaciones  producto  de  la  evalua¬ 
ción,  cuyo  meollo  es  el  informe  evaluativo.  En  los  anexos 
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se  incluyen  ejemplos  que  ilustran  los  pasos  descritos  en 
el  capítulo  quinto. 

Las  autoras  tuvimos  la  fortuna  de  trabajar  en  diferen¬ 
tes  escenarios  de  las  políticas  sociales  durante  nuestra  vi¬ 
da  profesional,  que  ya  lleva  muchos  años,  más  de  los  que 
nos  gustaría  numerar.  Dedicamos  a  la  evaluación  gran 
parte  de  los  últimos  diez  o  quince  años.  Por  un  lado,  tra¬ 
bajamos  en  el  marco  de  programas  dependientes  del  Es¬ 
tado  nacional,  pero  con  ejecución  en  los  niveles  locales, 
en  algunos  casos  con  financiamiento  bilateral  o  bien  del 
presupuesto  nacional  exclusivamente;  también  como 
miembros  de  una  organización  no  gubernamental  para  el 
desarrollo  social;  asimismo,  como  consultoras  en  el  mar¬ 
co  de  fundaciones  o  agencias  de  cooperación  internacio¬ 
nal  para  el  desarrollo.  De  modo  que  estamos  muy  agra¬ 
decidas  a  la  gente  de  las  instituciones  con  las  que  tuvimos 
la  oportunidad  de  tan  vastos  y  diferentes  aprendizajes.2 
Fue  en  el  marco  de  esas  instituciones  que  pudimos  rela¬ 
cionarnos  con  innumerables  funcionarios,  profesionales, 
técnicos,  miembros  de  organizaciones  locales  y  vecinos  y 
vecinas,  quienes  nos  abrieron  y  mostraron  generosamen- 

2.  Algunas  de  esas  instituciones  son:  el  Centro  de  Apoyo  al  Desarro¬ 
llo  Local  -CEADEL-,  del  cual  las  tres  autoras  somos  miembros  desde 
1987;  el  International  Development  Research  Center  -IDRC-,  de  Otta- 
wa,  Canadá;  el  Programa  UNI  de  la  Fundación  W.  K.  Kellogg;  el  Progra¬ 
ma  Regional  de  Adolescencia,  de  la  Oficina  Panamericana  de  la  Salud 
— OPS  de  Washington  DC;  UNICEF  Argentina;  el  Centro  Interamerica- 
no  de  Desarrollo  Social  -CIDES/OEA-;  el  Programa  de  Atención  a  Niños 
y  Adolescentes  en  Riesgo  -ProAme-  de  la  Secretaría  de  Desarrollo  Social 
y  el  Banco  Interamericano  de  Desarrollo;  el  Programa  Alimentario  y  Nu- 
tricional  Infantil  -PRANI-  de  la  Secretaría  de  Desarrollo  Social;  la  Direc¬ 
ción  Nacional  de  Gasto  Público  Social,  del  Ministerio  de  Economía;  el 
Programa  Materno  Infantil  y  de  Nutrición  -PROMIN-  del  Ministerio  de 
Salud. 
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te  sus  ámbitos  de  trabajo,  para  que  juntos  pudiéramos 
aprender  a  partir  de  la  práctica.  Es  a  esos  amigos  y  ami¬ 
gas,  compatriotas  o  de  otros  países  del  continente,  a 
quienes  va  nuestro  especial  reconocimiento  y  nuestro 
deseo  de  que  este  libro  les  resulte  útil  en  la  hermosa  pe¬ 
ro  sacrificada  tarea  que  cotidianamente  llevan  a  cabo. 

Queremos  también  expresar  nuestro  agradecimiento, 
por  su  colaboración  crítica  e  inteligente,  a  dos  respetados 
amigos,  que  hicieron  el  esfuerzo  de  leer  nuestros  borra¬ 
dores;  ellos  escribieron  con  lápiz,  de  forma  sintética  y  en 
los  márgenes,  sus  observaciones,  las  que  luego  debimos 
redactar,  tipear  y  colocar  en  el  centro  del  texto,  por  su 
relevancia.  Nuestro  reconocimiento  entonces  a  Néstor 
Perrone  y  a  Pablo  Vinocur,  por  sus  acertadas  e  importan¬ 
tes  contribuciones.  Ojalá  hayamos  podido  interpretar  sus 
comentarios  y  expresarlos  adecuadamente;  pero  es  nues¬ 
tra  absoluta  responsabilidad  si,  aun  a  pesar  de  ellos,  sub¬ 
sisten  los  errores  u  omisiones. 

Ahora  llegó  el  momento  en  que  la  crítica  debe  ser 
puesta  en  las  mentes  y  las  voces  de  nuestros  lectores;  de¬ 
searíamos  que  con  ellos  se  constituya  un  nuevo  diálogo, 
que  permita  hacer  continuo  el  flujo  de  innovaciones  en 
los  modos  de  realizar  y  evaluar  la  acción  social. 
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¿Para  qué  la  evaluación? 


¿Me  podrías  indicar  hacia  dónde  tengo  que  ir  desde  aquí?, 
preguntó  Alicia. 

Eso  depende  de  adonde  quieras  llegar ,  contestó  el  Gato. 
A  mí  no  me  importa  demasiado  adonde...,  empezó  a  de¬ 
cir  Alicia. 

En  ese  caso  da  igual  adonde  vayas,  interrumpió  el  Gato. 
...  siempre  que  llegue  a  alguna  parte,  terminó  Alicia,  a 
modo  de  explicación. 

¡Oh!,  siempre  llegarás  a  alguna  parte,  dijo  el  Gato,  si  ca¬ 
minas  lo  bastante. 

Lewis  Carroll1 


Introduciéndonos  en  tema 

El  famoso  diálogo  entre  la  ingenua  AJicia  y  el  Gato 
sagaz  resulta  útil  para  abordar  la  cuestión  de  la  evalua¬ 
ción  en  los  programas  y  proyectos  sociales. 

Alicia  nos  habla  de  la  direccionalidad  cuando  pregunta 
hacia  dónde  tiene  que  ir;  esa  pregunta,  tan  frecuente  en 
la  acción  social,  adopta  diferentes  formas:  ¿cuál  es  la  di¬ 
reccionalidad  deseable  para  nuestro  proyecto?,  ¿nos  es¬ 
tamos  dirigiendo  hacia  donde  nos  proponíamos?,  ¿en 
qué  medida  estamos  transitando  procesos  que  nos  llevan 


1 .  Carroll,  Lewis:  Alicia  en  el  País  de  las  Maravillas,  Madrid,  Alianza, 
1986.  La  excelente  traducción  fue  hecha  por  Jaime  de  Ojeda,  quien  al  res¬ 
pecto  de  ese  diálogo  aclara  que  “es  uno  de  los  pasajes  más  citados  de  Ali¬ 
cia,  sobre  todo  en  libros  científicos,  en  los  que  ha  servido  para  ilustrar  el 
contraste  entre  la  realidad  informe  de  la  materia  y  el  carácter  intencional 
que  tiene  toda  ordenación  lógica”. 
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a  obtener  los  resultados  que  nos  propusimos?  Y  como 
suele  suceder  con  la  mayoría  de  las  preguntas,  éstas  pa¬ 
recen  tener  más  de  un  sentido,  y  por  ende  más  de  una 
respuesta. 

Cuando  uno  se  pregunta  por  la  dirección  correcta  o 
deseable  -que  desde  ya  son  dos  cosas  diferentes-  se  plan¬ 
ta  frente  a  varias  alternativas,  frente  a  caminos  que  se  bi¬ 
furcan;  el  grado  de  conocimiento  o  de  incertidumbre  que 
tengamos  acerca  de  las  dificultades  o  ventajas  que  cada 
camino  presenta,  tendrá  que  ver  con  la  decisión  acerca 
de  cuál  tomar;  no  es  sólo  la  distancia  lo  que  nos  inclina¬ 
rá  hacia  una  u  otra  de  las  elecciones. 

Además,  Alicia  no  plantea  su  pregunta  en  abstracto 
sino  que  dice  “desde  aquí”,  o  sea  “desde  este  punto  don¬ 
de  ahora  estoy”;  eso  permite  inferir  que  de  algún  modo 
ella  llegó  a  ese  punto  donde  en  ese  momento  está  para¬ 
da,  hablando  con  el  Gato.  ¿Fue  errónea  o  correcta  su 
manera  de  llegar  hasta  ahí?  Pareciera  que  está  perdida, 
temerosa,  y  que  muchos  acontecimientos  extraños,  que 
no  puede  explicar  bien,  le  están  pasando  mientras  no  sa¬ 
be  exactamente  dónde  está.  Un  signo  de  la  ingenuidad 
de  Alicia  es  que  ella  no  se  cuestiona  acerca  de  cómo  lle¬ 
gó  a  donde  está,  sino  que  quiere  saber  cómo  tiene  que 
seguir  desde  allí.  No  se  ha  percatado  de  que,  para  seguir, 
debería  analizar  mejor  cómo  fue  que  llegó  a  donde  lle¬ 
gó,  para  entonces  preguntarse  acerca  de  cuáles  caminos 
alternativos  existen  y  cómo  son. 

Una  relevante  afirmación,  sugerida  entonces  por  el 
texto  de  Alicia,  vinculada  a  la  cuestión  de  la  evaluación 
en  los  programas  sociales  es  que  para  hacer  algo,  para  in¬ 
troducir  cambios  en  una  situación  no  deseable  o  que  no 
nos  conforma  -para  ir  a  alguna  parte-  hay  que  tener  ob¬ 
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jetivos  claros  y  explícitos  y  hay  que  saber  de  qué  manera 
lograrlos,  por  cuál  camino  ir,  es  decir,  hay  que  saber  la  di- 
reccionalidad  deseable.  Incluso  eso  es  así  para  quedarse 
donde  uno  está,  para  decidir  no  hacer  cambios. 

Para  que  eso  esté  claro,  previamente  debimos  plani¬ 
ficar,  programar  nuestras  acciones  en  pro  de  objetivos 
expresos,  es  decir,  debimos  formular  un  plan  de  trabajo. 
También  necesitamos  saber  desde  dónde  partimos,  dón¬ 
de  estamos  parados;  en  otras  palabras:  debimos  realizar 
un  diagnóstico  de  la  situación  problemática  que  intentamos 
resolver  mediante  nuestra  intervención.  Si  no,  ¿de  qué 
forma  sabremos  luego  si  cumplimos  con  lo  que  nos  pro¬ 
pusimos,  si  no  podemos  comparar  confiablemente  el  es¬ 
tado  posterior  con  el  anterior?  Obviamente,  podemos 
llegar  a  cualquier  parte,  sólo  se  trata  de  caminar  lo  bas¬ 
tante,  diría  el  Gato. 


La  evaluación  como  momento  o  función  de 
la  gerencia 

De  lo  que  se  trata  es  de  identificar,  corregir,  poner 
“bajo  control”,  la  máxima  cantidad  de  eventos  que  pue¬ 
dan  oponerse  a  nuestra  acción  o  dificultarla,  de  modo  de 
obtener  los  cambios  deseados  en  la  situación  que  encon¬ 
tramos  inicialmente  como  desfavorable.  No  cabe  duda 
de  que  para  eso  debemos  cumplir  con  procesos  meticu¬ 
losos  de  reconocimiento  de  la  realidad  y  de  programa¬ 
ción  de  acciones  en  plazos  definidos  de  tiempo,  contan¬ 
do  con  recursos  accesibles. 

La  planificación  o  programación  podría  sintetizarse  como 
la  “reflexión  que  precede  y  preside  la  acción”  (Mathus, 
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1987).  En  verdad,  puede  decirse  que  esa  reflexión  conti¬ 
nua,  a  medida  que  la  acción  se  desarrolla,  es  propiamente 
la  evaluación,  la  que  alimenta  con  sus  hallazgos  la  planifi¬ 
cación  y  gestión  de  los  proyectos. 

Visto  así,  se  trata  de  un  proceso  que  sólo  concep¬ 
tualmente  es  separable,  pues  en  la  práctica  el  proceso 
de  planificación/ejecución/evaluación  es  una  integri¬ 
dad  indivisible,  conformada  por  momentos  -funcio¬ 
nes-  en  continua  retroalimentación.  Los  teóricos  de  las 
ciencias  de  la  administración  engloban  ese  proceso  en 
el  concepto  de  “gerencia”,  y  también  se  usa  el  término 
“gestión”. 

Queriendo  transmitir  metafóricamente  esa  cualidad 
integral  de  la  gerencia  y  dentro  de  la  gerencia  la  función 
o  momento  de  la  evaluación,  en  una  de  sus  brillantes  ex¬ 
posiciones  Paulo  Motta2  la  comparó  con  el  caso  de  un 
ómnibus  repleto  de  pasajeros,  donde  el  conductor  debe 
arreglar  defectos  del  motor  sin  detener  el  coche  y  con  to¬ 
dos  los  pasajeros  dentro. 

Pero  aun  sabiendo  que  resulta  complicado,  si  no  re¬ 
flexionamos  sobre  la  acción  que  desarrollamos  mientras 
los  programas  o  proyectos  se  realizan,  si  no  cuestiona¬ 
mos  o  miramos  críticamente  cómo  llegamos  a  donde 
llegamos,  difícilmente  podamos  responder  a  la  pregun¬ 
ta  de  Alicia:  ¿cómo  seguir  desde  aquí?,  y  a  la  otra,  pre¬ 


2.  Paulo  Motta  es  profesor  de  la  Escuela  Brasileña  de  Administración 
Pública  (EBAP),  de  la  Fundación  Getulio  Vargas,  y  se  desempeña  además 
como  consultor  internacional  en  diversas  agencias.  Esa  metáfora  fue  uti¬ 
lizada  durante  un  seminario  organizado  por  CEADEL,  en  Buenos  Aires, 
en  marzo  de  1992,  financiado  por  la  Fundación  W.  K.  Kellogg,  para  los 
becarios  del  Programa  Internacional  de  Liderazgo. 
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via,  que  aquí  agregamos:  ¿cómo  fue  que  llegamos  hasta 
aquí? 

Una  misión  relevante  de  la  evaluación  en  el  proceso 
de  gestión  es  justamente  ésa:  permitir  a  los  conducto¬ 
res  de  programas  o  proyectos,  y  a  los  otros  actores  es¬ 
tratégicos,  tomar  decisiones  acertadas,  confiables  y 
fundamentadas  acerca  de  cómo  seguir,  de  cómo  dar  a 
sus  acciones  la  direccionalidad  deseable,  basados  en  las 
apreciaciones  valorativas  sobre  lo  que  se  vino  haciendo 
y  logrando.  No  en  vano  se  llama  “conductores”  a  los 
que  dirigen  proyectos:  porque  orientan  el  camino,  im¬ 
primen  la  dirección. 

En  el  sentido  apuntado  también  se  dice  que  el  pro¬ 
ceso  de  la  evaluación  viene  a  ser  como  la  imagen  en  un 
espejo  del  proceso  de  la  planificación:  mientras  la  plani¬ 
ficación  mira  hacia  adelante,  plantea  previsiones  de  la 
acción  en  los  escenarios  posibles  y  deseables,  la  evalua¬ 
ción  enfatiza  la  mirada  hacia  atrás  -más  lejos  o  más  cer¬ 
ca,  pero  siempre  hacia  atrás-,  buscando  aprender  de  lo 
hecho,  de  los  errores  y  los  aciertos,  valorando  lo  positi¬ 
vo  y  lo  negativo,  para  poder  recomendar  giros  o  refuer¬ 
zos  en  la  acción  futura.  Hay  un  momento  en  el  cual  la 
planificación  y  la  evaluación  tienen  su  intersección:  es 
justamente  en  el  punto  de  las  recomendaciones  evalua- 
tivas  para  la  acción  futura,  las  que  deberán  retomarse  en 
el  momento  de  la  reprogramación. 


Intentando  una  definición 

Llegados  a  este  punto,  es  posible  adelantar  la  defini¬ 
ción  de  lo  que  consideraremos  evaluación  y  que  nos 
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permitirá  destacar  algunos  de  sus  elementos  esenciales, 
independientemente  de  la  diversidad  de  propósitos,  ti¬ 
pos  y  abordajes  que  se  puedan  encontrar: 


Entendemos  por  evaluación  de  programas  o 
proyectos  sociales  una  actividad  programada  de 
reflexión  sobre  la  acción ,  basada  en  procedimientos 
sistemáticos  de  recolección,  análisis  e  interpreta¬ 
ción  de  información,  con  la  finalidad  de  emitir 
juicios  valorativos  fundamentados  y  comunicables  so¬ 
bre  las  actividades,  resultados  e  impactos  de  esos 
proyectos  o  programas,  y  formular  recomendacio¬ 
nes  para  tomar  decisiones  que  permitan  ajustar  la 
acción  presente  y  mejorar  la  acción  futura. 


Desbrocemos  brevemente  los  pasos  relevantes  de  esa 
definición  preliminar,  aunque  en  los  restantes  capítulos 
volveremos  sobre  ellos. 

•  Actividad  programada:  quiere  decir  que  la  evaluación 
-con  todas  las  tareas  que  ella  implica-  debe  ser  pre¬ 
vista  tal  como  las  otras  acciones  del  proyecto  o  pro¬ 
grama,  puesto  que  es  una  actividad  más.  De  ahí  que 
en  muchas  guías  de  formulación  de  proyectos,  en  los 
últimos  tiempos,  se  ha  incluido  como  ítem  a  formular 
el  de  la  evaluación.  Decir  que  la  evaluación  es  progra¬ 
maba ?,  significa,  entre  otras  cuestiones,  que  deben 
atribuírsele  recursos  específicos  (personas  idóneas, 
momentos  y  lugares  específicos,  equipos  adecuados, 
insumos,  dinero). 
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•  Reflexión  sobre  la  acción :  ya  se  dijo  que  la  evaluación 
consiste  en  “detenerse”  -no  en  el  sentido  absoluta¬ 
mente  literal  sino  en  el  de  distanciarse-  para  analizar 
qué  es  lo  que  se  está  haciendo  (o  se  hizo),  de  qué 
modo,  si  ello  se  orienta  según  la  direccionalidad  de¬ 
seable,  cuáles  escollos  y  qué  oportunidades  se  pre¬ 
sentan,  y  cuáles  logros  se  han  obtenido. 

•  Basada  en  procedimientos  sistemáticos:  supone  una  meto¬ 
dología  y  técnicas  para  la  recolección  y  el  análisis  de 
la  información  relevante  que  alimentará  la  reflexión  y 
fundamentará  los  juicios  valorativos  que  se  emitan 
acerca  de  las  actividades,  los  resultados  y  los  impactos 
de  los  cursos  de  acción  implementados. 

•  Emitir  juicios  valorativos  fundamentados  y  comunicables: 
es  el  núcleo  de  toda  evaluación,  e  implica  atribuir  un 
valor,  medir  o  apreciar  si  se  ejecutan  las  actividades  de 
acuerdo  con  lo  programado,  si  los  resultados  obteni¬ 
dos  corresponden  a  los  objetivos  y  las  metas  propues¬ 
tos,  así  como  en  qué  medida  ha  mejorado  la  situación 
de  los  destinatarios  de  las  acciones  como  producto  de 
nuestra  intervención.  De  lo  dicho  se  desprende  que 
para  evaluar  siempre  es  necesario  hacer  comparaciones 
sobre  la  base  de  las  cuales  se  emitirán  los  juicios;  cual¬ 
quiera  que  sea  el  objeto  de  nuestra  evaluación  se  lo 
contrastará  con  un  parámetro  que  constituye  lo  desea¬ 
do,  lo  previsto,  lo  correcto,  en  suma,  la  direccionali¬ 
dad  o  las  metas  que  habremos  definido  previamente. 
Esas  son  comparaciones  contra  estándares,  sea  como 
sea  que  se  los  haya  definido;  pero  también  hay  una 
comparación  contra  sí  mismo  en  el  tiempo,  que  es  la 
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que  se  realiza  cuando  se  comparan  situaciones  o  esta¬ 
dos  actuales  de  grupos  poblacionales,  contra  sus  situa¬ 
ciones  o  estados  pasados,  para  saber  qué  cambió  y  po¬ 
der  emitir  un  juicio  acerca  de  si  la  situación  está  me¬ 
jor,  peor  o  igual.  Esa  comparación  contra  sí  mismo  en 
el  tiempo  es  a  veces  -sobre  todo  en  los  primeros  tra¬ 
mos  de  la  ejecución  de  un  programa  o  proyecto-  más 
relevante  que  la  otra,  contra  estándares,  pues  aunque 
se  concluya  que  se  está  lejos  aún  de  lo  deseable  -el  es¬ 
tándar-,  la  situación  puede  haber  mejorado  mucho 
debido  a  la  gravedad  de  la  situación  inicial  o  punto  de 
partida  -“línea  de  base”-,  y  eso  es  en  sí  altamente  va- 
lorable  y  muy  estimulante  para  los  que  ejecutan  las  ac¬ 
ciones,  ya  que  la  evaluación  les  demuestra  los  logros 
obtenidos  y  les  permite  programar  sobre  mejores  ba¬ 
ses.  La  fundamentación  de  nuestros  juicios  valora tivos 
dependerá  de  la  consistencia  y  confiabilidad  de  la  in¬ 
formación  -cuantitativa  y  cualitativa-  que  recojamos, 
al  estilo  de  las  “evidencias”  que  corroboran  los  testi¬ 
monios  en  un  juicio  frente  a  un  tribunal.  Los  juicios 
valorativos  deben  poder  comunicarse  a  las  audiencias 
identificadas,  lo  que  significa  que  se  deben  redactar 
informes  comprensibles  y  programar  devoluciones  de 
los  hallazgos  en  modalidades  adecuadas  para  la  mejor 
comprensión  por  parte  de  los  actores  involucrados. 

•  Formular  recomendaciones  para  tomar  decisiones  que  per¬ 
mitan  ajustar  y  mejorar  las  acciones :  la  evaluación  tiene 
múltiples  aplicaciones  y  puede  perseguir  diferentes 
propósitos,  pero  de  modo  general  interesa  destacar 
que  se  trata  de  pensar  sobre  el  hacer,  para  identificar 
errores  y  problemas  que  dificultan  la  acción,  para  per¬ 
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feccionar  la  gestión  de  un  proyecto  o  programa,  para 
aprender  de  lo  hecho  -haya  sido  acertado  o  erróneo-, 
para  introducir  correcciones,  e  incluso  para  compro¬ 
bar  que  nuestro  proyecto  produce  efectos  no  previs¬ 
tos,  algunos  de  ellos  no  deseados;  y  finalmente,  ¿por 
qué  no?,  para  el  reconocimiento  social  del  esfuerzo 
realizado  y  de  los  actores  participantes  que  lo  llevaron 
a  cabo.  Sistematizar  las  lecciones  aprendidas  y  brindar,  a 
partir  de  ellas,  las  recomendaciones  pertinentes  cons¬ 
tituye  uno  de  los  meollos  de  la  evaluación,  según 
nuestra  perspectiva.  Mediante  los  procedimientos  de 
la  evaluación  reconocemos  los  logros  y  las  fortalezas 
de  la  acción  desarrollada,  así  como  los  obstáculos  y  las 
debilidades;  las  recomendaciones  en  general  deben 
sugerir  apoyarnos  en  las  fortalezas,  a  modo  de  palan¬ 
ca,  para  superar  o  saltar  las  dificultades.  Y  deben  ser¬ 
vir  a  todos  aquellos  que  toman  decisiones  en  los  dife¬ 
rentes  niveles,  no  sólo  a  los  “gerentes”  o  directores  de 
los  programas  o  proyectos,  sino  también  a  aquellos 
que  en  la  tarea  cotidiana,  en  el  escenario  donde  se  hacen 
las  cosas ,  deben  tomar  decisiones  operativas.  Ya  se  di¬ 
jo:  el  momento  de  las  recomendaciones  es  la  intersec¬ 
ción  entre  la  evaluación  y  la  reprogramación;  de  la 
profundidad  y  pertinencia  de  las  recomendaciones 
que  se  formulen  dependerá  la  utilidad  de  la  evalua¬ 
ción  y,  por  ende,  la  viabilidad  de  su  aplicación  poste¬ 
rior  en  la  toma  de  decisiones  y  en  la  acción.3 


3.  En  el  capítulo  3  se  verá  que  la  viabilidad  de  la  aplicación  posterior 
de  los  hallazgos  evaluativos  también  depende  del  involucramiento  de  los 
actores  durante  el  proceso  mismo  de  la  evaluación,  así  como  de  la  com¬ 
pleta  y  oportuna  devolución  de  los  resultados  por  parte  de  los  que  tienen 
la  responsabilidad  de  evaluar. 
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Evaluación  e  investigación: 

bastantes  similitudes  y  algunas  diferencias 

Una  evaluación  no  es  equivalente  a  una  investiga¬ 
ción,  aun  cuando  comparte  muchos  de  sus  procedi¬ 
mientos.  La  investigación  busca  fundamentalmente  in¬ 
crementar  el  cuerpo  de  conocimiento,  estableciendo 
relaciones  entre  hechos,  fenómenos,  situaciones,  etc., 
mientras  que  la  evaluación  se  preocupa  ante  todo  por  el 
perfeccionamiento  de  la  acción  y  compromete  esen¬ 
cialmente  un  juicio  de  valor.  En  suma,  “la  evaluación 
debe  ocuparse  fundamentalmente  de  los  posibles  cam¬ 
bios  en  un  programa  existente”  (Hamilton  Smith, 
1981).  La  investigación  termina  con  conclusiones  acer¬ 
ca  de  cómo  ocurren  los  hechos,  alimenta  la  teoría  y  el 
cuerpo  de  conocimiento  sobre  cierto  segmento  del  sa¬ 
ber,  mientras  que  una  evaluación  debe  terminar  con  re¬ 
comendaciones  que  lleven  a  modificar  lo  que  se  venía 
haciendo,  o  bien  a  agregar  nuevas  acciones  (lo  cual,  sin 
duda,  se  funda  en  un  “saber”  acerca  de  cómo  ocurren 
las  cosas  y  en  ciertas  hipótesis  acerca  de  cómo  debieran 
ocurrir). 

Tanto  lo  expuesto  en  el  acápite  anterior  como  lo  re¬ 
cién  expresado  permiten  concluir  que  son  las  recomenda¬ 
ciones  para  la  toma  de  decisiones  las  que  distinguen  la 
evaluación  de  la  investigación;  no  pareciera  lógico  pen¬ 
sar  en  una  evaluación  por  el  solo  hecho  de  describir  y 
emitir  un  juicio  sobre  cómo  se  hacen  las  cosas,  si  no  se  le 
agregan  las  recomendaciones  emergentes  para  decidir 
sobre  los  cursos  de  acción  y  cambiar  lo  que  se  detecte  co¬ 
mo  mejorable. 
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El  proceso  de  explicación  o  fundamentación  de  los 
juicios  evaluativos  es  similar  al  de  la  ciencia;  el  rigor  en 
las  formas  de  llegar  a  emitir  aseveraciones  certeras  es 
compartido.  No  se  trata  sólo  de  criticar  o  de  elogiar,  hay 
que  fundamentar  las  aseveraciones  -para  distinguirlas  de 
las  creencias,  las  opiniones  o  los  juicios  emocionales-, 
para  luego,  a  partir  de  esas  explicaciones  o  fundamenta- 
ciones,  poder  emitir  las  recomendaciones  que  permitan 
superar  deficiencias  o  profundizar  las  ventajas  ya  obteni¬ 
das  con  la  acción  desplegada. 

Por  lo  tanto,  no  hay  límites  demasiado  precisos  entre 
la  evaluación  y  la  investigación;  cuando  se  pone  a  prue¬ 
ba  una  modalidad  de  intervención  considerada  innova¬ 
dora,  la  evaluación,  en  tanto  incluye  un  proceso  riguro¬ 
so  y  sistemático  de  recolección  de  información  para 
emitir  juicios  y  recomendaciones,  sirve  además  para 
probar  la  eficacia  de  la  intervención  innovadora,  compa¬ 
rándola  con  otras  formas  tradicionales  de  intervenir  en 
el  mismo  problema.  Pongamos  como  ejemplo  los  pro¬ 
yectos  que  desarrollan  modalidades  de  complementa- 
ción  escolar  con  un  abordaje  lúdico  e  integral,  inclusivo 
del  seguimiento  del  rendimiento  del  niño  en  la  escuela, 
en  articulación  con  maestros  o  maestras,  en  lugar  del 
anterior  modo  de  apoyo  escolar  con  clases  enfocadas  ex¬ 
clusivamente  a  “ayudar  a  hacer  los  deberes”.  La  evalua¬ 
ción  de  proyectos  con  los  dos  abordajes  y  la  compara¬ 
ción  entre  ambos  pueden  permitir  detectar  que  la  nueva 
modalidad  es  más  eficaz,  mostrando  evidencias  de  que 
los  niños  cubiertos  bajo  esa  nueva  forma  de  intervención 
tienen  mayor  rendimiento  en  la  escuela  y  menor  índice 
de  deserción  o  repitencia  que  aquellos  que  se  cubren 
con  el  método  tradicional,  y  porque  además  la  primera 
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es  sinérgica ,4  ya  que  se  logran  otros  resultados  no  especí¬ 
ficos  o  buscados  primariamente,  como  puede  ser  la  incor¬ 
poración  de  hábitos  positivos  de  autocuidado,  de  higiene, 
de  relaciones  con  los  pares  y  en  la  familia,  entre  otros. 

El  ejemplo  previo  es  un  caso  en  el  que  la  evaluación 
puede  ser  vista  también  como  investigación,  ya  que  posibi¬ 
lita  el  avance  del  conocimiento  a  partir  de  la  sistematiza¬ 
ción  de  la  práctica.  También  permite  recomendar  mejoras 
para  la  acción  (aun  dentro  de  la  misma  modalidad  innova¬ 
dora),  pues  se  puede  descubrir  algún  caso  entre  los  anali¬ 
zados  donde,  además  de  las  actividades  lúdicas  y  de  articu¬ 
lación  con  las  maestras  de  las  escuelas,  se  agrega  la  interac¬ 
ción  periódica  con  los  padres,  para  concientizarlos  acerca 
de  las  ventajas  de  los  nuevos  modos  de  llevar  a  cabo  la 
complementación  escolar,  lo  que  redunda  en  mejores  re¬ 
sultados.  Ese  hallazgo  implicará  recomendar  también  acti¬ 
vidades  concretas  dirigidas  a  los  familiares  de  los  niños, 
promoviendo  así  enfoques  más  integrales.  Resumiendo:  es 
muy  sutil  la  distinción  entre  evaluación  e  investigación. 


Cambios  en  los  estilos  de  evaluación 

Las  concepciones  y  los  modos  de  evaluar  fueron  cam¬ 
biando  en  paralelo  con  los  cambios  ocurridos  en  los  pa- 


4.  Max-Neef  (1986)  considera  sinérgicas  las  acciones  que,  además  de 
orientarse  a  la  resolución  de  un  problema  puntual,  contribuyen  a  la  vez  a 
la  resolución  o  prevención  de  otros  problemas.  Un  ejemplo  muy  utiliza¬ 
do  es  el  de  la  lactancia  materna,  que  a  la  vez  que  contribuye  a  la  buena  nu¬ 
trición  del  bebé,  lo  preserva  inmunológicamente,  y  consolida  un  lazo 
afectivo  entre  la  madre  y  el  bebé  que  podrá  contribuir  a  su  apropiado  de¬ 
sarrollo  posterior. 
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radigmas  de  la  ciencia,  particularmente  durante  la  segun¬ 
da  mitad  de  este  siglo.  El  paso  de  las  formas  mecanicis- 
tas,  neopositivistas,  racionalistas,  objetivistas  a  las  con¬ 
cepciones  fenomenológicas,  más  relativistas  e  inclusivas 
de  factores  contextúales  y  que  incorporan  metodologías 
intersubjetivas,  al  incidir  en  los  modos  de  conocer  y 
abordar  la  realidad,  influyeron  también  en  las  modalida¬ 
des  de  planificación,  gestión  y  evaluación  de  los  proyec¬ 
tos  y  programas  sociales. 

Hace  unas  décadas,  la  evaluación  se  planteaba  como  la 
última  etapa  de  un  proceso  lineal  de  formulación/imple- 
mentación  de  proyectos  y  programas,  por  la  cual  se  tra¬ 
taba  de  mirar  hacia  atrás  y  establecer  -siguiendo  méto¬ 
dos  y  herramientas  especializados  provenientes  de  la  in¬ 
vestigación  en  ciencias  sociales  y  científicamente  válidos 
según  el  paradigma  dominante-  si  las  acciones  ejecutadas 
habían  producido  los  efectos  deseados  o  buscados. 

Esto  llevó  a  la  elaboración  de  diseños  de  evaluación 
bastante  sofisticados  con  el  fin  de  reproducir  condiciones 
“experimentales”  o  “cuasi  experimentales”  que  permitie¬ 
ran  determinar  si  se  produjeron  cambios  en  la  situación 
problemática  inicial  que  motivó  la  intervención  (proyec¬ 
to  o  programa  social)  y  si  esos  cambios  se  debieron  a  las 
acciones  desplegadas.  No  desconocemos  la  necesidad  de 
contar  con  elementos  de  juicio  acerca  de  los  impactos  de 
estrategias  o  cursos  de  acción  de  uso  difundido,  pero  lo 
cierto  es  que  estos  diseños  requieren  personal  técnica¬ 
mente  capacitado  para  llevarlos  a  cabo,  por  lo  que  suelen 
convertirse  en  evaluaciones  externas,  con  escasa  o  nula 
intervención  de  los  integrantes  de  los  programas  o  pro¬ 
yectos;  por  otra  parte,  producen  información  que  puede 
ser  útil  en  ciertos  niveles  decisorios  (por  ejemplo,  para 
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decidir  la  continuidad  o  no  de  determinadas  líneas  de 
proyectos),  pero  tal  vez  menos  para  quienes  están  direc¬ 
tamente  involucrados  en  la  gestión. 

Otro  camino  difundido,  dentro  de  ese  modelo  de  pla¬ 
nificación  vertical  o  “de  línea  recta”,  consistía  en  compa¬ 
rar,  también  en  la  última  etapa  de  ejecución  o  incluso  a 
posteriori,  las  metas  previamente  establecidas  con  las  que 
se  habían  efectivamente  alcanzado,  complementando  esta 
comparación  con  una  explicación  (o  justificación  ex  post) 
de  las  discrepancias  encontradas.  Este  camino  suponía  que 
lo  “planificado”  debía  traducirse  casi  mecánicamente  en 
acciones  sin  tener  en  cuenta  el  contexto  organizacional  y 
las  racionalidades  de  los  diversos  actores  en  su  ejecución. 

En  la  actualidad,  con  el  amplio  desarrollo  de  las  me¬ 
todologías  de  planificación  estratégica  y/o  participativa 
(que  fueron  desplazando  lentamente,  aún  no  del  todo,  a 
los  modelos  verticales),  se  reconoce  que  el  proceso  de 
planificación/programación  no  responde  a  una  racionali¬ 
dad  lineal,  que  los  actores  involucrados  en  la  gestión  y 
ejecución  reinterpretan  permanentemente  los  objetivos 
buscados  a  través  de  su  accionar,  en  síntesis,  que  todo  el 
proceso  de  la  gestión  social  está  signado  por  grandes  do¬ 
sis  de  incertidumbre,  en  gran  parte  como  producto  de  la 
naturaleza  del  contexto  en  que  se  desarrolla. 

Esa  incertidumbre  es  también  producto  de  la  propia 
naturaleza  del  desarrollo  teórico  y  de  las  tecnologías  uti¬ 
lizadas  en  las  disciplinas  sociales  y  en  el  campo  de  la  ac¬ 
ción  social,  en  comparación  con  las  ciencias  exactas  o  na¬ 
turales  y  sus  campos  de  aplicación,  como  la  ingeniería  o 
la  electrónica.  Vale  decir:  en  las  ciencias  sociales  no  hay 
una  única  escuela  o  un  paradigma  dominante  de  forma 
excluyente,  como  ocurre  en  un  determinado  período  his- 
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tórico  con  la  física  o  la  biología,  sino  que  coexisten  di¬ 
versas  corrientes,  en  algunos  casos  contradictorias  entre 
sí  -paradigmas  rivales  (Khun,  1970)-  ,  en  otros  con  dife¬ 
rentes  enfoques  o  énfasis  (caso  de  las  teorías  del  apren¬ 
dizaje  y  las  metodologías  para  la  lectoescritura  en  psico- 
pedagogía,  o  las  diferentes  corrientes  en  metodologías 
para  la  planificación  participativa,  las  diferentes  escuelas 
de  la  psicología  social  y  la  influencia  de  ellas  en  la  deter¬ 
minación  de  las  técnicas  más  eficaces  para  las  dinámicas 
grupales).  Por  ende,  no  existen  certezas  acerca  de  cuáles 
son  los  requerimientos  mínimos  para  la  correcta  aplica¬ 
ción  de  las  diferentes  corrientes  teóricas. 

La  evaluación  puede  verse  entonces  como  una  res¬ 
puesta  a  la  necesidad  de  reducir  esa  incertidumbre  en  ca¬ 
da  uno  de  los  momentos  de  la  acción,  para  reconocer  si 
los  esfuerzos  están  “correctamente”  encaminados.  Es  de¬ 
cir  que  se  requiere  una  retroalimentación  continua  en  la 
implementación  para  ir  corrigiendo  sobre  la  marcha  los 
cursos  de  acción  teniendo  en  cuenta  las  cuestiones  que 
preocupan  a  los  involucrados  en  la  ejecución  (tanto  los 
ejecutores  como  los  destinatarios). 

Es  en  el  sentido  recién  apuntado  que  la  evaluación  so¬ 
cial  se  distingue  de  otro  tipo  de  evaluaciones,  por  ejem¬ 
plo,  de  aquellas  que  se  aplican  a  proyectos  de  construc¬ 
ción  o  de  infraestructura;  hay  modelos  de  evaluación  que 
han  sido  trasladados  directamente  de  los  proyectos  de  in¬ 
geniería  o  de  obras  a  los  proyectos  o  programas  sociales, 
lo  cual  generó  muchas  dificultades  y  resistencias  por  par¬ 
te  de  quienes  los  ejecutan,  puesto  que  esos  modelos,  a  ve¬ 
ces  impuestos  por  algunas  agencias  de  financiamiento, 
son  poco  adaptables  a  los  escenarios  comunitarios  donde 
los  proyectos  sociales  tienen  lugar. 
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La  evaluación  para  la  transformación 

Si  bien  es  cierto  que  cada  vez  más  frecuentemente  se 
habla  de  evaluar  los  resultados  de  un  proyecto  o  pro¬ 
grama,  el  funcionamiento  de  sus  actividades  -los  pro¬ 
cesos-  y  hasta  el  uso  de  sus  recursos,  también  lo  es  que 
sigue  siendo  una  actividad  poco  frecuente  y  en  general 
bastante  resistida.  Aun  más,  cuando  finalmente  se  deci¬ 
de  evaluar  un  programa,  luego  muy  raramente  se  utili¬ 
zan  sus  resultados  y  recomendaciones  para  producir 
cambios. 

Creemos  que  la  resistencia  a  la  evaluación,  así  como 
las  dificultades  para  incorporar  las  recomendaciones 
evaluativas  en  la  gestión,  son  cuestiones  que  tienen  que 
ver  con  el  fenómeno  más  general  de  la  resistencia  al 
cambio;  pues  al  fin  y  al  cabo,  la  evaluación  implica  cam¬ 
bio,  tal  como  la  planificación  y,  en  general,  tal  como  la 
acción  social:  se  formula  e  implementa  un  proyecto  o 
programa  para  transformar  una  situación  que  resulta  in¬ 
satisfactoria  y  se  evalúan  la  gestión  y  los  resultados  por¬ 
que  interesa,  por  un  lado,  apreciar  si  se  cambió  lo  que  se 
deseaba  cambiar,  es  decir,  para  saber  en  qué  medida  me¬ 
joró  la  situación  que  se  consideró  insatisfactoria  al  inicio 
de  las  acciones;  y,  por  otro  lado,  para  detectar  qué  fue  lo 
que  cooperó  a  ese  logro  y  qué  lo  dificultó,  es  decir,  qué 
se  hizo  bien,  qué  se  podría  hacer  mejor  y  qué  se  hizo 
mal.  Todo  eso  para  poder  aconsejar  qué  cambios  intro¬ 
ducir  o  no  en  la  acción  posterior. 

Existe  una  tensión  entre  la  propensión  al  cambio  y  los 
impulsos  a  mantener  la  estabilidad  de  las  cosas  que  nos 
rodean  y  la  manera  en  que  ellas  funcionan;  lo  primero 
brinda  satisfacción  a  las  necesidades  humanas  de  creativi¬ 
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dad  y  de  enfrentar  desafíos  probando  las  propias  fuerzas, 
mientras  que  lo  segundo  permite  la  idea  de  pertenencia, 
de  seguridad  y  de  continuidad.  Esa  tensión  sucede  tanto 
en  el  plano  individual  o  familiar  como  en  lo  microsocial 
y  lo  macrosocial  (Sztompka,  1993).  Como  seres  huma¬ 
nos,  como  sociedad,  siempre  han  existido  fuerzas  o  im¬ 
pulsos  tendientes  a  cambiar  los  modos  de  relacionarnos, 
de  mejorar  nuestras  instituciones,  nuestras  formas  orga¬ 
nizativas,  nuestras  formas  de  expresión. 

Claro  está,  como  se  dijo,  que  esas  intencionalidades 
no  necesariamente  son  dominantes,  y  suelen  operar  en 
contra  o  a  pesar  de  otros  que  tienen  posturas  opuestas  o 
diferentes,  y  que  prefieren  mantener  el  statu  quo,  pues 
ello  les  brinda  seguridades  de  alguna  índole  (afectivas, 
de  prestigio,  de  influencia,  económicas,  etc.).  En  el  cam¬ 
po  más  específico  de  las  políticas  sociales,  esta  lucha 
permanente  del  hombre  por  operar  cambios  en  las  rela¬ 
ciones  sociales  se  manifiesta  a  través  de  actividades  ten¬ 
dientes  a  mejorar  la  situación  de  grupos  desprotegidos, 
con  mayores  desventajas  o  que  han  sufrido  algún  tipo  de 
catástrofe. 

Una  forma  -no  la  única-  en  que  pueden  operarse 
cambios  sociales  de  manera  no  cruenta  es  a  través  del 
diseño  de  programas  y  proyectos  que  partan  de  realizar 
un  recorte  y  describir  una  realidad  -diagnóstico-,  para 
luego  identificar  las  disconformidades  - problemas -,  y  de 
allí  inferir  qué  queremos  modificar  - objetivos -,  lo  cual  es 
lo  mismo  que  pensar  en  las  transformaciones  que  espe¬ 
ramos  obtener  - resultados -,  para  lo  que  se  requiere  el  di¬ 
seño  de  una  estrategia  para  operar  el  cambio,  que  se  tra¬ 
duce  en  un  plan  de  trabajo  -actividades-  ubicado  en  el 
tiempo  -cronograma-  y  asociado  a  los  insumos  -recursos 
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humanos ,  materiales  y  financieros-  requeridos  para  llevar 
a  cabo  las  acciones. 

La  idea  de  cambio  está  implícita  desde  el  inicio  del 
proyecto  o  programa  que  luego  será  evaluado.  El  simple 
hecho  de  pensar  en  un  proyecto  específico  está  ponien¬ 
do  de  manifiesto  una  necesidad  de  que  algo  cambie.  Es¬ 
te  proceso  de  transformación  está  asociado  a  la  creativi¬ 
dad,  ya  que  además  de  querer  modificar  una  realidad  so¬ 
cial,  institucional,  personal,  a  partir  de  la  generación  de 
un  programa,  estamos  buscando  creativamente  la  alter¬ 
nativa  de  acción  más  efectiva  para  transformar  esta  rea¬ 
lidad:  es  decir,  nos  interesa  el  cambio  y  cómo  se  opera 
ese  cambio;  ambas  cuestiones  están  relacionadas  con  el 
proceso  creativo. 

En  tal  sentido,  un  programa  o  proyecto  social  puede  ser 
visto  como  la  puesta  a  prueba  de  estrategias  o  metodolo¬ 
gías  innovadoras  de  intervención  para  la  transformación, 
las  que  si  luego  de  evaluadas  demuestran  ser  eficaces,  po¬ 
drán  ser  replicadas  en  otros  contextos,  en  circunstancias  o 
condiciones  similares,  o  bien  con  las  adaptaciones  que 
convengan.  Además,  en  el  mejor  de  los  casos,  la  modalidad 
de  intervención  podrá  ser  adoptada  como  estrategia  de  las 
políticas  públicas,  en  el  nivel  local  o  nacional,  para  el  cam¬ 
po  social  específico.  Eso  sería  un  ejemplo  de  cambio  social 
relevante  y  es  uno  de  los  impactos  más  buscados  por  los 
que  conducen  proyectos  sociales,  pero  difícilmente  alcan¬ 
zado;  podemos  arriesgar  que  para  influir  de  ese  modo  en 
las  políticas  públicas  no  sólo  deben  evaluarse  las  acciones, 
sino  además  deben  difundirse  los  resultados  evaluativos,  en 
una  estrategia  de  advocacy  o  marketing  social  más  global.  Es 
allí  donde  se  cruzan  las  acciones  evaluativas  con  las  de  con- 
ceptualización,  sistematización  y  diseminación. 


44 


¿ Para  qué  la  evaluación? 

El  propio  proceso  evaluativo  implica  transformación. 
Cuando  se  comienza  a  pensar  en  evaluar  un  programa  en 
funcionamiento,  o  incluso  en  evaluar  la  factibilidad  de 
realización  de  otro,  en  realidad  estamos  pensando  que  al¬ 
go  cambie  en  la  forma  como  se  vienen  haciendo  las  co¬ 
sas.  De  alguna  manera  esperamos  que  los  resultados  de  la 
evaluación  nos  brinden  elementos  para  operar  ciertas 
modificaciones  en  la  estrategia  o  metodología  de  inter¬ 
vención  implementada. 

Pero  en  este  punto  se  produce  el  otro  fenómeno:  la 
posibilidad  de  cambiar  la  forma  en  que  se  venía  trabajan¬ 
do  produce  resistencias.  Frecuentemente,  el  propósito 
mismo  de  la  evaluación,  “evaluamos  para  cambiar”,  ge¬ 
nera  oposición  o  al  menos  renuencia  y  entonces,  siempre 
que  se  puede,  se  aplaza  para  otro  momento  la  actividad 
evaluativa. 

La  posibilidad  de  cambio  evoca  con  frecuencia  el 
proceso  más  alto  en  cuanto  a  transformación  se  refiere, 
que  es  la  revolución,  proceso  en  que  difícilmente  algo 
quede  en  pie;  el  impulso  hacia  adelante  que  se  genera  es 
tan  arrollador  que  los  viejos  cimientos  parecen  caer  de¬ 
bido  al  impacto:  Quizá  sea  esto  lo  que  genere  tanta  re¬ 
sistencia,  sin  tener  en  cuenta  que  hay  muchas  posibilida¬ 
des  de  operar  transformaciones  antes  de  llegar  a  una 
ruptura  total.  De  hecho,  la  historia  nos  brinda  ejemplos 
de  esto  constantemente;  hay  infinidad  de  cambios  adap- 
tativos,  parciales,  que  van  transformando  lentamente  la 
sociedad,  mientras  que,  por  otra  parte,  las  grandes 
transformaciones  son  momentos  muy  especiales  en  el 
devenir  histórico. 

Si  esto  sucede  en  el  abarcativo  plano  de  la  historia  po¬ 
lítico-social,  no  debe  extrañarnos  que  una  evaluación 
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-que  bien  puede  terminar  en  recomendaciones  de  cortar 
el  desarrollo  de  un  programa  o  un  proyecto,  o  de  introdu¬ 
cir  ajustes  que  no  convengan  o  sean  traumáticos  para  al¬ 
gunos  individuos  o  grupos  involucrados  en  él-  produzca 
al  menos  resistencias  y  que  sus  resultados  sean  escasamen¬ 
te  utilizados  (muchas  veces  porque  no  son  “políticamente 
viables”,  aunque  estén  técnicamente  fundamentados). 


Aprendiendo  con  la  evaluación  y  de  ella 

El  impacto  que  produce  el  hacerse  cargo  de  las  cuestio¬ 
nes  que  deben  ser  transformadas  suele  interpretarse  como 
“errores  cometidos”  y  esto  lleva  casi  de  inmediato  a  sentir 
que  nada  de  lo  construido  sirve  y  que  es  necesario  empezar 
de  nuevo.  Sin  embargo,  la  idea  que  hay  por  detrás  de  la 
evaluación,  en  el  sentido  que  le  estamos  imprimiendo,  es 
integrar  dentro  de  un  nuevo  esquema  lo  mejor  de  las  es¬ 
tructuras,  las  actividades  y  los  recursos  existentes  en  el  pro¬ 
grama,  modificando  aquello  que  ya  no  resulta  útil,  correc¬ 
to  o  eficaz  y  aprendiendo  de  la  experiencia  realizada. 

La  afirmación  anterior  nos  lleva  a  la  cuestión  del 
aprendizaje,  que  también  tiene  relación  con  la  resistencia 
a  la  evaluación.  No  toda  forma  de  aprendizaje  -modalidad 
pedagógica-  resulta  “aceptable”,  y  por  ende  eficaz,  para 
los  que  intervienen  en  el  proceso  de  enseñanza-aprendiza¬ 
je.  Cualquiera  sabe  que  muchas  de  nuestras  resistencias 
ante  ciertas  disciplinas  tienen  más  que  ver  con  la  forma  en 
que  los  profesores  la  transmitían  en  la  escuela  que  con  ca¬ 
racterísticas  intrínsecas  de  la  disciplina  misma.  El  evalua¬ 
dor,  tal  como  lo  estamos  esbozando  aquí,  está  muy  lejos  de 
representar  la  figura  del  maestro  tradicional,  el  que  viene 
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a  “enseñar”,  ai  transferir  su  saber  a  los  otros,  a  los  que  es¬ 
tán  haciendo  las  cosas  en  terreno,  planteando  con  ellos 
una  relación  de  tipo  asimétrica  y  “vertical”.  Lejos  de  esa 
figura  se  está  pensando  en  el  rol  del  evaluador  como  faci¬ 
litador,  con  un  papel  importante  en  cuanto  acompaña  los 
procesos,  entrando  y  saliendo  de  ellos,  conservando  la  po¬ 
sibilidad  de  una  mirada  con  suficiente  distancia  aunque 
involucrada,  desencadenando  procesos  de  reflexión,  brin¬ 
dando  una  perspectiva  “preguntona”  y  crítica,  involucran¬ 
do  a  todos  los  actores  posibles  en  espacios  de  reflexión 
conjunta  y  de  debate  a  partir  de  preguntas,  muchas  veces 
ingenuas,  otras  veces  rispidas.5  No  debe  olvidarse  que  ese 
evaluador  también  está  aprendiendo,  también  tiene  su 
mente  abierta  a  nuevas  formas  de  actuar.  No  se  trata  de  un 
juez;  se  trata  de  alguien  a  la  par,  con  el  rasgo  distintivo  del 
“preguntón”,  del  cuestionador,  que  juega  de  vez  en  cuan¬ 
do  de  outsider ,  que  se  pone  el  gorro  del  abogado  del  dia¬ 
blo,  para  provocar  y  estimular  la  reflexión,  a  la  vez  que 
aprende  junto  con  los  demás.  No  enseña:  provoca  y  esti¬ 
mula  el  aprendizaje  conjunto. 

Es  relevante  la  contribución  de  la  evaluación  a  los 
procesos  de  aprendizaje  institucional,  puesto  que  resulta 
prioritario  comprometer  a  quienes  trabajan  en  los  pro¬ 
yectos  o  programas  en  un  “proceso  educativo  programa¬ 
do  que  produzca  cambios”  (Organización  Panamericana 
de  la  Salud  y  Fundación  W.  K.  Kellog,  1998). 


5.  Sócrates,  en  el  diálogo  con  Fedro,  su  alumno,  le  explicaba  que  só¬ 
lo  a  través  de  preguntas  es  posible  aprender.  Así,  la  evaluación  puede  ser 
vista  como  un  proceso  de  aprendizaje  de  estilo  “socrático”,  pues  se  centra 
en  formular  preguntas  evaluativas  y  responderlas  fundamentadamente 
(Cf.  Platón,  Fedro). 
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Es  posible  plantear  algunos  requisitos  para  que  una 
evaluación  aporte  elementos  en  el  citado  sentido  de 
aprendizaje  institucional: 

•  debe  ser  útil  a  las  personas  comprometidas  en  el  pro¬ 
ceso; 

•  debe  ser  viable ,  es  decir,  realizable  en  un  tiempo  al  al¬ 
cance  de  ellas; 

•  debe  respetar  los  valores  de  las  personas  involucradas; 

•  debe  estar  bien  hecha,  con  procedimientos  adecua¬ 
dos,  de  modo  de  proveer  información  confiable . 

La  evaluación  es  capacitadora  e  iluminadora  pues 
busca  en  la  teoría,  la  experiencia  y  el  conocimiento,  las 
argumentaciones  que  mejor  expliquen  los  resultados  y 
facilita  el  crecimiento,  el  desarrollo  y  el  perfecciona¬ 
miento  de  los  que  intervienen  en  un  proyecto. 


El  proceso  de  la  evaluación 

Reiteradas  veces  se  dijo  que  entendemos  la  evaluación 
como  un  proceso,  como  una  función  de  la  gerencia  o  un 
conjunto  de  actividades,  siendo,  por  ende,  programable. 
Es  lo  mismo  que  afirmar  que  requiere  para  su  desarrollo 
un  proceso  o  secuencia  que  le  es  propio,  el  cual  se  esque¬ 
matiza  a  continuación. 

Programación  de  la  evaluación : 

•  definición  del  sujeto-objeto  de  evaluación, 

•  establecimiento  de  \%  finalidad, 

•  identificación  de  las  audiencias , 

•  determinación  del  nivel  de  análisis , 
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•  clasificación  de  las  dimensiones  de  análisis, 

•  definición  de  las  variables , 

•  selección  de  los  indicadores , 

•  determinación  de  las  técnicas  e  instrumentos  para  la  re¬ 
colección  de  información, 

•  determinación  de  la  secuencia  de  actividades , 

•  identificación  de  responsables  y  actores  participantes , 

•  establecimiento  de  la  duración ,  frecuencia  y  periodicidad, 

•  estimación  de  los  recursos  necesarios  (humanos  y  mate¬ 
riales), 

•  presupuestación. 

Ejecución  de  la  evaluación 

•  relevamiento  de  información  mediante  el  desarrollo  de 
las  actividades  y  la  aplicación  de  las  técnicas  e  instru¬ 
mentos, 

•  sistematización,  procesamiento  y  análisis  de  la  información, 

•  elaboración  de  informes  ( incluyendo  conclusiones  y  reco¬ 
mendaciones), 

•  devolución  a  los  actores  y  diseminación  de  conclusiones. 

Evaluación  de  la  evaluación  (metaevaluación) 

•  análisis  de  la  utilidad  de  los  hallazgos, 

•  apreciación  sobre  la  viabilidad  del  proceso  evaluativo 
y  del  uso  de  sus  resultados, 

•  juicio  acerca  de  la  pertinencia  metodológica  y  ética, 

•  análisis  de  la  confiabilidad  de  los  procesos  y  hallazgos. 

Si  bien  el  proceso  evaluativo  se  ha  presentado  esque¬ 
máticamente  de  forma  aislada  y  lineal,  debe  interpretarse 
que  forma  parte  de  un  proceso  mayor  que  es  el  proceso 
administrativo  de  la  gerencia  y  que  como  tal  retroalimen- 
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ta  la  toma  de  decisiones  o  se  integra  como  componente 
evaluativo  del  diagnóstico.  La  secuencia  presentada  sólo 
procura  mostrar  la  lógica  del  circuito  evaluativo,  pero 
esos  pasos  no  son  secuenciales  en  los  escenarios  concre¬ 
tos  sino  que  se  producirán  superposiciones  y  retrocesos 
en  medio  de  los  avances. 

Nuestra  concepción  es  que  la  evaluación  debería  ser 
un  proceso  continuo  que  se  involucre  en  la  gestión  desde  su 
inicio,  en  el  planteamiento  del  problema  a  resolver  o  eta¬ 
pa  diagnóstica,  durante  los  procesos  de  la  acción  y  al  fi¬ 
nalizar  períodos  determinados,  donde  el  énfasis  estará 
puesto  en  los  resultados  o  efectos. 

Si  bien  consideramos  continua  la  evaluación,  de  hecho 
suele  requerir  algunos  cortes  específicos  para  determina¬ 
dos  aspectos,  como  el  estudio  de  cambios  en  conductas  o 
actitudes,  o  situaciones  poblacionales  (de  nutrición,  de 
empleo,  de  salud,  de  alfabetización,  etc.)  que  deberán 
medirse  o  apreciarse  de  forma  periódica,  mediante  en¬ 
cuestas,  censos  o  estudios  cuasi  experimentales,  según 
sean  los  casos. 

Asimismo,  como  aclararemos  luego,  a  menudo  ocurre 
que  los  evaluadores  somos  convocados  para  realizar 
nuestra  tarea  sólo  en  la  etapa  final,  o  después  que  finali¬ 
zó  el  período  de  ejecución  de  los  programas  o  proyectos. 
En  esos  casos,  lejos  de  rechazar  esas  demandas,  debemos 
ofrecer  nuestras  habilidades  a  los  decisores  para  que  en 
el  futuro  puedan  aprovechar  mejor  sus  propias  experien¬ 
cias,  planteando  las  evaluaciones  tempranamente,  de 
modo  que  les  sea  posible  considerar  las  alternativas  dis¬ 
ponibles  para  tomar  decisiones  futuras. 
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Las  ciencias ,  después  de  todo ,  son  nuestra  propia  creación , 
incluidos  todos  los  severos  estándares  que  parecen  impo¬ 
nemos.  Es  bueno  recordar  constantemente  este  hecho  [...]. 
¿Qué  mejor  recordatorio  hay  que  el  darse  cuenta  de  que  la 
elección  entre  teorías  que  son  suficientemente  generales 
para  proporcionar  una  concepción  del  mundo  comprehen¬ 
siva  y  entre  las  que  no  hay  conexión  empírica ,  puede  lle¬ 
gar  a  ser  una  cuestión  de  gusto ? 

Paul  K.  Feyerabend  (1984) 


Existen  muchas  formas  de  evaluar  y  esto  ha  dado  lu¬ 
gar  a  una  profusa  y  posiblemente  confusa  terminología, 
acuñada  en  la  literatura  sobre  el  tema,  que  remite  a  dis¬ 
tinciones  (a  veces  a  oposiciones)  entre  modos,  tipos,  en¬ 
foques  o  perspectivas  de  evaluación.  En  su  mayoría, 
surgen  de  la  introducción  en  la  práctica  de  nuevos  focos 
de  interés  y  de  los  diferentes  énfasis  que  los  mismos 
evaluadores  fueron  dando  al  uso  de  la  evaluación.  Mu¬ 
chas  aparecen  incluso  para  superar  restricciones  o  limi¬ 
taciones  con  que  se  enfrentaron  en  el  desarrollo  de  las 
modalidades  más  tradicionales.  Sin  embargo,  como  se 
verá,  responden  a  diferentes  necesidades  y  no  son  ex- 
cluyentes. 

Como  producto  de  los  intentos  de  sistematizar  la  ex¬ 
periencia  en  propuestas  conceptuales  y  metodológicas, 
se  pueden  encontrar  innumerables  clasificaciones.  Algu¬ 
nas  han  tenido  mucha  difusión  en  la  literatura  sobre  eva¬ 
luación  y  merecen  una  breve  descripción  pues  alertan 
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acerca  de  la  multiplicidad  de  facetas  que  pueden  y  deben 
considerarse  a  la  hora  de  concebir  y  diseñar  un  proceso 
de  evaluación.  En  este  sentido,  adquieren  un  valor  prác¬ 
tico  pues  sirven  para  pensar,  presentar  y  provocar  nuevas 
ideas  y  técnicas  y  para  disponer  de  listados  de  cuestiones 
a  considerar  y  recordar. 

Los  tipos  más  difundidos  suelen  diferenciarse  de 
acuerdo  con  los  siguientes  criterios: 

•  según  el  momento  en  que  se  realiza  la  evaluación; 

•  según  quiénes  realizan,  son  responsables  o  intervie¬ 
nen  en  la  evaluación; 

•  según  los  propósitos  y  la  índole  de  las  decisiones  que 
se  espera  tomar  en  el  futuro  en  función  de  los  resul¬ 
tados  de  la  evaluación; 

•  según  los  aspectos  a  evaluar  del  programa  o  proyecto. 

Algunos  autores  distinguen  además  entre  evaluación 
“informar5  y  “formal”.  La  primera  se  refiere  a  nuestras 
conductas  cotidianas  que  nos  llevan  a  emitir  juicios  so¬ 
bre  utilidad,  conveniencia,  eficacia,  compatibilidad  de 
otras  personas,  recursos,  procesos  o  productos  sobre  la 
base  de  supuestos  subjetivos  e  individuales,  juicios  que 
nos  sirven  para  elegir  diferentes  cursos  de  acción.  Se  la 
contrapone  a  la  evaluación  “formal”  o  “en  sentido  es¬ 
tricto”,  en  tanto  ésta  es  pública  y  las  elecciones  se  basan 
en  esfuerzos  sistemáticos  de  definir  criterios  explícitos  y 
obtener  información  precisa  acerca  de  las  alternativas. 
Nuestro  concepto  de  evaluación  se  refiere  fundamental¬ 
mente  a  este  último  tipo. 
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Antes,  durante  o  después:  siempre  hay  que  evaluar 

Una  distinción  clásica  proveniente  de  la  tradición  eco¬ 
nómica  y  trasladada  a  las  ciencias  sociales  es  la  que  suele 
efectuarse  entre  evaluación  ex  ante  y  evaluación  ex  post. 

Como  su  nombre  lo  indica,  la  evaluación  ex  ante  (a  ve¬ 
ces  denominada  también  “de  predecisión”,  “de  factibili¬ 
dad”1  o  “de  pertinencia”)  se  emprende  antes  de  iniciar  un 
programa  o  proyecto  para  tomar  una  decisión  relativa  a 
si  debe  implementarse  o  no.  En  términos  generales 
apunta  a  “comparar  la  eficacia  o  la  rentabilidad  económi¬ 
ca  de  las  diferentes  acciones  para  alcanzar  los  objetivos 
deseados”  (Pineault  y  Daveluy,  1987,  cap.  6). 

Desde  el  punto  de  vista  del  proceso  de  intervención 
social  se  trata,  en  la  fase  de  formulación  y  diseño  del 
proyecto,  de  establecer,  además  de  su  rentabilidad  econó¬ 
mica ,  su  pertinencia  -es  decir,  la  adecuación  de  las  solu¬ 
ciones  que  propone  a  la  realidad  que  se  pretende  modi¬ 
ficar-,  su  coherencia  interna  en  términos  de  adecuación 
de  recursos  a  objetivos  y  de  éstos  a  metas  y  actividades, 
y  su  factibilidad ,  o  sea,  la  disponibilidad  de  los  recursos 
requeridos  y  la  existencia  de  condiciones  para  desarro¬ 
llar  las  acciones  esperadas. 

Es  el  tipo  de  evaluación  que  suelen  realizar  los  orga¬ 
nismos  financiadores  a  la  hora  de  decidir  aprobar  un  pro¬ 
yecto.  Puede  servir  para  mejorar  su  formulación  y  tam¬ 
bién  para  seleccionar  proyectos,  por  ejemplo,  cuando  se 
trata  de  un  concurso. 


1.  También  se  denominaba  “costo-beneficio”,  identificándola  con  la 
principal  técnica  de  análisis  económico  para  la  evaluación  ex  ante  de  pro¬ 
yectos. 
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La  evaluación  ex  post  es  la  que  se  realiza  una  vez  con¬ 
cluida  la  ejecución  del  proyecto.  Aquí  también  se  utilizan 
varios  términos  -aunque  no  con  un  significado  unívoco- 
para  hacer  referencia  a  diferentes  momentos  en  los  que 
se  realiza,  sea  apenas  concluida  la  fase  de  ejecución  (de 
fin  de  proyecto,  a  posteriori,  terminal),  sea  varios  años 
después  que  el  proyecto  o  programa  ha  terminado.2  De 
todos  modos,  en  general  se  concentra  en  los  resultados 
obtenidos  para  evaluar  en  qué  medida  se  alcanzaron  los 
objetivos  previstos  (situación  objetivo),  cuáles  han  sido 
los  efectos,  buscados  y  no  buscados,  atribuibles  al  pro¬ 
yecto,  sobre  la  situación  inicial  que  se  pretendía  modifi¬ 
car;  también  procura  identificar  los  factores  que  contri¬ 
buyeron  a  producir  estos  resultados.  Merece  destacarse 
que  un  aspecto  importante  -a  menudo  descuidado-  de 
esas  evaluaciones  es  contar  con  una  “línea  de  base”,  o  in¬ 
formación  diagnóstica  de  la  situación  inicial,  para  poder 
contrastarla  con  la  situación  final.  Aunque  acorde  con  las 
metodologías  circulantes  de  planificación/programación, 
la  formulación  de  un  proyecto  o  programa  debe  acompa¬ 
ñarse  de  un  diagnóstico,  no  es  frecuente  que  éste  se  rea¬ 
lice  con  la  mirada  puesta  en  el  proceso  evaluativo,  y  por 
ende  difícilmente  incorpora  la  información  pertinente 
para  poder  apreciar  los  cambios  producidos  después  de 
su  finalización.  Lo  dicho  muestra  que,  pese  al  camino  ya 


2.  En  algunos  casos,  la  evaluación  realizada  algunos  años  después  de 
la  conclusión  de  un  proyecto  se  denomina  “de  impacto”  (véase,  por  ejem¬ 
plo,  Banco  Interamericano  de  Desarrollo,  s/f).  Sin  embargo,  entendemos 
que  la  evaluación  de  impacto  puede  realizarse  también  en  momentos  in¬ 
termedios  si  existen  hipótesis  acerca  de  la  ocurrencia  a  mediano  plazo  de 
los  efectos  esperados  en  la  población. 
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recorrido,  todavía  resulta  difícil  encontrar  traducida  en 
hechos  la  estrecha  relación  que  se  requeriría  entre  la 
programación  y  la  evaluación. 

En  las  evaluaciones  ex  post ,  el  foco  está  colocado  en  la 
eficacia,  la  efectividad  y  la  eficiencia  de  un  proyecto  o 
programa,  conceptos  que  retomaremos  y  explicaremos 
en  otro  punto  de  este  capítulo  (véanse  las  págs.  69  a  71). 
Pero  es  necesario  destacar  que  apuntan  fundamental¬ 
mente  a  obtener  elementos  útiles  para  decidir  si  convie¬ 
ne  seguir  implementando  esta  línea  de  proyectos  y,  en 
caso  afirmativo,  qué  aspectos  pueden  mejorarse  en  futu¬ 
ras  formulaciones. 

A  partir  del  énfasis  en  la  evaluación  como  instrumen¬ 
to  de  gestión  estrechamente  ligado  a  las  distintas  fases 
de  la  planificación,  se  introdujo  una  nueva  diferencia¬ 
ción  relativa  al  tipo  de  evaluación  que  se  realiza  durante 
la  ejecución  del  proyecto,  denominada  de  muy  diversas 
maneras:  de  progreso  o  proceso ,  de  gestión ,  concurrente ,  con¬ 
comitante. ,  intermedia ,  de  operación ,  etc.  Su  objetivo  básico 
es  evaluar  en  qué  medida  se  va  cumpliendo  el  proyecto 
o  programa  de  acuerdo  con  la  propuesta  inicial,  es  decir, 
si  se  orienta  según  la  direccionalidad  deseable.  Genera 
información  sobre  los  procesos,  las  actividades  y  los 
productos,  y  los  compara  con  las  metas  formuladas  y  las 
que  se  van  reformulando  a  lo  largo  del  proceso  de  im- 
plementación.  Se  realiza  de  forma  periódica  de  modo  de 
detectar  oportunamente  las  debilidades  y  los  obstáculos 
así  como  las  fortalezas  y  las  oportunidades.  De  este  mo¬ 
do  proporciona  elementos  para  la  toma  de  decisiones 
que  permiten  reforzar  o  reorientar  acciones  y  corregir 
aspectos  de  la  gestión,  aumentando  así  las  posibilidades 
de  llegar  a  resultados  favorables. 
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Aunque  se  lo  distingue,  también  el  seguimiento  o  mo¬ 
nitores*  se  refiere  a  la  evaluación  que  se  realiza  durante  la 
ejecución  de  un  proyecto.  Ha  sido  definido  como 

[...]  el  examen  continuo  o  periódico  que  efectúa  la  administración, 
en  todos  sus  niveles  jerárquicos,  de  la  manera  en  que  se  está  ejecu¬ 
tando  una  actividad.  Con  ello  se  busca  asegurar  que  la  entrega  de 
insumos,  los  calendarios  de  trabajo,  los  productos  esperados  se 
conformen  a  metas  establecidas  y  que  otras  acciones  que  son  nece¬ 
sarias  progresen  de  acuerdo  con  el  plan  trazado  (ONU,  1984). 

Es  parte  de  la  función  gerencial  y  responsabilidad  del 
personal  a  cargo  de  la  ejecución,  y  en  este  sentido  cons¬ 
tituye  una  típica  actividad  de  evaluación  interna  dentro 
del  marco  de  un  programa  o  proyecto.  En  general,  las 
actividades  de  monitoreo  que  hemos  conocido  se  cen¬ 
tran  en  la  implementación  de  un  sistema  de  información 
para  verificar  el  logro  de  las  metas  e  identificar  desvíos. 
Este  énfasis  en  la  recolección  sistemática  de  informacio¬ 
nes  útiles  para  el  funcionamiento  de  programas  ha  lleva¬ 
do  erróneamente  a  diferenciar  el  monitoreo  de  la  evalua¬ 
ción  propiamente  dicha.  En  efecto,  la  existencia  de  un 
sistema  de  información  no  implica  necesariamente  que 
exista  evaluación  y,  viceversa,  puede  hacerse  una  evalua¬ 
ción  sin  la  existencia  previa  de  dicho  sistema  ya  que  pue¬ 
de  recogerse  información  en  el  momento  del  corte  eva- 
luativo.  ¿Pero  de  qué  sirve  un  sistema  de  información  si 
no  se  lo  utiliza  para  juzgar  la  adecuación  de  los  procesos 
de  ejecución  y  proveer  elementos  de  juicio  para  la  intro¬ 
ducción  de  ajustes  y  correcciones  oportunas?  También 


3.  Los  dos  términos  son  equivalentes,  pues  “monitoreo”  ha  sido  tra¬ 
ducido  literalmente  del  inglés  monitoring. 
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hemos  leído  o  escuchado  decir  que  el  punto  donde  radi¬ 
ca  la  diferencia  entre  “evaluación”  y  “monitoreo”  es  que 
este  último  provee  información  para  la  gerencia...  ¿y  aca¬ 
so  la  evaluación  no  lo  hace?  Quiere  darse  a  entender  que 
el  monitoreo  prende  luces  de  advertencia  y/o  riesgo  en 
el  gerenciamiento  social  del  día  tras  día,  para  generar  ac¬ 
ciones  correctivas  inmediatas,  del  mismo  modo  que  los 
monitores  con  el  paciente  internado  en  las  terapias  in¬ 
tensivas  e  intermedias;  pero  es  necesario  advertir  que,  en 
los  proyectos  sociales,  la  metáfora  del  paciente  monito- 
rizado  no  es  del  todo  afortunada,  ya  que  es  imposible  la 
recolección  de  información  de  forma  continua  o  ininte¬ 
rrumpida  que  permita  prender  luces  de  emergencia;  só¬ 
lo  es  posible  recoger  alguna  información  de  modo  dis¬ 
continuo,  con  cierta  periodicidad  (a  lo  sumo  mensual, 
por  lo  general  trimestral).  Esa  información  recogida  con 
periodicidad  frecuente  suele  ser  del  tipo  cuantitativo  (de 
ejecución  presupuestaria,  de  cobertura,  de  cantidad  de 
prestaciones  o  servicios  brindados),  pero  raramente  in¬ 
cluye  aspectos  de  calidad  o  procedimentales,  ya  que  és¬ 
tos  requieren  periodicidades  mayores. 

Se  dice  también  que  el  monitoreo  adecuadamente 
conceptualizado  y  puesto  en  práctica  es  un 


[...]  procedimiento  empleado  para  comprobar  la  efectividad  y  efi¬ 
ciencia  del  proceso  de  ejecución  de  un  proyecto,  mediante  la 
identificación  de  los  aspectos  limitantes  y/o  ventajosos  que  cul¬ 
mina  recomendando  medidas  correctivas  para  optimizar  los  re¬ 
sultados  deseados  (Banco  Interamericano  de  Desarrollo,  s/f). 

Se  puede  apreciar,  según  esta  definición,  la  ausencia 
de  diferencias  entre  el  concepto  de  monitoreo  y  el  de 
evaluación. 
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Conjugando  el  verbo  evaluar: 

¿nos  evaluamos  o  nos  evalúan? 

En  función  de  quién  realiza  la  evaluación,  se  han  di¬ 
ferenciado  dos  grandes  categorías,  la  evaluación  externa 
y  la  evaluación  interna,  aunque  actualmente  también  se 
ha  roto  esta  dicotomía  para  incluir  la  evaluación  mixta,  la 
autoevaluación  y  la  evaluación  participativa. 

Se  llama  evaluación  externa  a  la  que  realizan  evalua¬ 
dores  que  no  pertenecen  a  la  organización  ejecutora  del 
programa  o  proyecto  que  se  evalúa,  recurriéndose  ge¬ 
neralmente  a  investigadores  o  consultores  independien¬ 
tes,  departamentos  universitarios  y,  a  veces,  incluso  a 
expertos  internacionales.  Es  posible  que  la  evaluación 
externa  se  realice  por  decisión  del  propio  equipo  res¬ 
ponsable  del  proyecto,  programa  u  organización,  pero 
también  ocurre  que  se  realiza  por  decisión  de  la  agencia 
financiadora  o  del  organismo  del  cual  depende  jerárqui¬ 
camente  el  ejecutor;  lo  cierto  es  que  esas  variantes  ten¬ 
drán  influencias  en  las  modalidades  y  orientaciones  eva¬ 
lúa  tivas. 

La  evaluación  interna  es  la  que  llevan  a  cabo  personas 
o  grupos  pertenecientes  a  la  institución  gestora  del  pro¬ 
yecto,  no  involucrados  directamente  en  su  ejecución;  en 
cambio,  la  autoevaluación  sería  aquella  realizada  por  los 
propios  actores  a  cargo  de  la  ejecución  del  proyecto.  Es¬ 
ta  diferenciación  en  realidad  adquiere  sentido  en  el  mar¬ 
co  de  organizaciones  de  cierto  tamaño,  relativamente 
complejas,  en  las  que  puede  existir  una  persona/equi¬ 
po/unidad  específica  de  evaluación,  cuasi  externa,  es  de¬ 
cir,  por  fuera  del  área  de  ejecución  del  proyecto.  En  or¬ 
ganizaciones  más  pequeñas,  con  estructuras  indiferen¬ 
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ciadas,  una  evaluación  interna  sería  equivalente  a  una 
autoevaluación. 

La  evaluación  participativa  aparece  como  una  categoría 
sumamente  difusa,  pues  no  es  claro  a  la  participación  de 
quiénes  se  refiere,  pero  apuntaría  -y  en  este  sentido  apa¬ 
rece  como  modelo  ideal-  a  designar  aquella  evaluación 
que  involucra  a  los  destinatarios  y/u  otros  actores  de  los 
proyectos  en  los  distintos  momentos  del  proceso  evalua- 
tivo  (es  decir,  no  sólo  como  fuente  de  información  sino 
además  con  protagonismo  en  su  diseño,  en  la  ejecución, 
en  el  análisis  de  los  resultados  y  en  la  formulación  de 
conclusiones  y  recomendaciones). 

En  la  mayoría  de  los  libros  sobre  evaluación  que  he¬ 
mos  consultado  hay  discusiones  acerca  de  las  ventajas  y 
desventajas  de  cada  modalidad:  “la  organización  ideal 
sería  aquella  que  se  evalúa  a  sí  misma”  (Wildavsky, 
1972),  y  nadie  mejor  que  su  personal  para  conocer  y 
comprender  los  objetivos,  la  metodología,  los  destinata¬ 
rios  y  la  dinámica  cotidiana  de  las  actividades,  en  suma 
para  captar  la  racionalidad  interna  del  proyecto.  El  he¬ 
cho  de  que  los  propios  actores  realicen  la  evaluación  ha¬ 
ce  más  viable  la  posterior  utilización  de  los  hallazgos 
evaluativos  y  la  adopción  de  medidas  correctivas  reco¬ 
mendadas.  Pero  su  principal  obstáculo  deriva  de  una  ba¬ 
ja  garantía  de  objetividad  al  ser  juez  y  parte  del  proceso 
evaluativo:  sus  valores,  intereses  y  compromisos  perso¬ 
nales  atentarían  contra  una  apreciación  imparcial  e  in¬ 
dependiente  del  programa  o  proyecto. 

Por  el  contrario,  se  supone  que  el  evaluador  externo 
no  tiene  intereses  creados  -supuesto  que  casi  nunca  es 
del  todo  correcto-,  suele  traer  experiencia  en  el  tema, 
puede  volcar  recursos  y  conocimientos  inexistentes  en  la 
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organización  y  es  mayor  garantía  de  objetividad.  Sin  em¬ 
bargo,  sus  debilidades  estarían  en  las  tensiones  entre 
evaluador  y  evaluado,  que  pueden  incluso  generar  difi¬ 
cultades  en  el  acceso  a  la  información,  en  las  restriccio¬ 
nes  para  captar  los  factores  en  juego  y  la  racionalidad  in¬ 
terna  del  proyecto  y  en  las  probables  resistencias  de  su 
personal  a  aceptar  resultados  que  podrían  cuestionar  sus 
objetivos,  metas  y  líneas  de  acción. 

Por  otra  parte,  en  nuestra  concepción,  el  evaluador  o 
equipo  de  evaluadores  externos  contratados  traen,  además 
de  sus  propias  orientaciones  y  preferencias  ideológicas  y 
teóricas,  compromisos  con  quienes  los  contratan  y  ello 
puede  incidir  sobre  la  supuesta  “objetividad”  de  su  labor.4 

La  solución  salomónica  propuesta  en  algunos  casos 
es  la  evaluación  mixta ,  conformando  un  “equipo”  consti¬ 
tuido  por  evaluadores  externos  e  internos  con  momen¬ 
tos  de  trabajo  conjunto  y  momentos  de  trabajo  indepen¬ 
diente. 

Otra  forma  de  preguntar  acerca  del  tema  de  quién 
evalúa,  sobre  todo  en  el  caso  de  organizaciones  o  progra¬ 
mas  de  cierta  complejidad  (con  diversos  departamentos  o 
subsedes  o  localizaciones)  es  ¿en  qué  nivel  evaluamos? 
En  tal  sentido,  si  la  evaluación  es  a  nivel  central  suele  ha¬ 
blarse  de  control  de  gestión ;  en  los  niveles  intermedios  se 
hace  énfasis  en  la  supervisión  y  si  se  realiza  en  el  nivel 
operativo,  donde  se  hacen  concretas  las  acciones  (presta¬ 
ción  de  bienes  o  servicios)  en  relación  con  la  gente  (los 
beneficiarios  o  usuarios  o  clientes),  se  habla  de  evaluación 


4.  Para  un  mayor  desarrollo  de  este  tema,  véase  el  capítulo  3  del  pre¬ 
sente  libro. 
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operativa,  muy  ligada  al  propio  trabajo  de  los  equipos  téc¬ 
nicos  actuantes  (por  ejemplo,  los  grupos  operativos  de 
mejoramiento  de  calidad  o  de  auditoría  médica  que  lle¬ 
van  a  cabo  los  grupos  profesionales  en  los  establecimien¬ 
tos  de  salud). 

La  cuestión  de  quién  evalúa  en  realidad  lleva  implíci¬ 
to  el  problema  de  la  resistencia  a  la  propia  práctica  de  la 
evaluación  y  a  las  dificultades  para  utilizar  sus  resultados. 
No  es  inusual  que  se  lleven  a  cabo  evaluaciones  riguro¬ 
sas  -sean  internas  o  externas,  de  procesos  o  terminales, 
en  uno  o  en  otro  nivel  de  la  organización,  programa  o 
proyecto-  cuya  implementación  y  desarrollo  han  sido 
aceptados  por  la  organización  pero  cuyas  recomendacio¬ 
nes  son  escasamente  tenidas  en  cuenta  luego  por  los  pro¬ 
pios  responsables  y  ejecutores  de  proyectos.  Su  compro¬ 
miso  personal  y  emocional  con  las  metas,  la  población 
destinataria  y  otros  aspectos  específicos  de  la  organiza¬ 
ción  se  puede  erigir  en  una  barrera  para  la  aceptación  de 
cambios  en  la  orientación  de  su  accionar.  En  síntesis,  co¬ 
mo  ya  se  vio  en  el  primer  capítulo,  existen  contradiccio¬ 
nes  entre  los  propósitos  de  la  evaluación  y  la  lógica  de 
funcionamiento  de  las  organizaciones.  Este  tema,  recu¬ 
rrente  en  la  revisión  de  las  experiencias,  nos  recuerda 
que  la  programación  de  una  evaluación  debe  incorporar 
acuerdos  y  negociaciones  entre  todos  los  involucrados  en 
el  proceso,  sobre  todo  en  torno  a  sus  propósitos  y  a  su  di¬ 
seño.  También  es  necesario  contemplar  la  introducción 
de  mecanismos  que  permitan  compartir  sus  diferentes 
etapas,  incluyendo  el  análisis  y  la  interpretación  de  la  in¬ 
formación  y  la  formulación  de  las  recomendaciones.  Só¬ 
lo  así  se  podrá  hablar  genuinamente  de  evaluación  parti- 
cipativa. 
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Los  múltiples  propósitos  de  la  evaluación 

Una  distinción  ya  clásica  y  muy  difundida  es  la  que 
suele  hacerse  entre  evaluación  formativa  y  evaluación  su- 
mativa?  o  de  resumen.  La  primera  se  refiere  al  tipo  de  eva¬ 
luación  que  se  emprende  con  el  propósito  de  mejorar 
una  intervención  en  un  momento  determinado  y  para  un 
grupo  específico  de  personas,  particularmente  aquellas 
involucradas  en  su  ejecución.  Busca  proporcionar  infor¬ 
mación  útil  para  ayudar  al  programa  a  mejorar  su  gestión 
y  contribuye  a  la  toma  de  decisiones  acerca  de  su  desa¬ 
rrollo  e  implementación  (modificación,  revisión,  ajustes, 
etc.).  Brinda  información  a  medida  que  avanza  el  progra¬ 
ma  o  el  proyecto,  y  se  refiere  al  cumplimiento  de  metas 
intermedias  y  a  los  problemas  de  implementación.  Sirve 
fundamentalmente  al  personal  del  programa. 

Un  ejemplo  de  evaluación  formativa  es  la  evaluación 
curricular  en  el  área  educativa,  de  donde  proviene  por 
otra  parte  esta  noción  (Scriven,  1967).  Utilizando  técni¬ 
cas  tales  como  seguimiento  de  su  aplicación  mediante 
pruebas  de  aprendizaje  y  juicio  de  expertos,  se  obtiene 
información  que  permite  evaluar  la  adecuación  de  los 
contenidos  curriculares  a  las  condiciones  de  enseñanza- 
aprendizaje  y  así  poder  realizar  los  ajustes  necesarios. 

La  evaluación  “de  resumen”  se  emprende  con  el  pro¬ 
pósito  de  obtener  un  juicio  global  sobre  el  valor  de  algu- 


5.  Esta  traducción  literal  ha  sido  acuñada  del  inglés  summative  y  nos  pa¬ 
rece  poco  afortunada,  pues  en  castellano  involucra  la  connotación  de  suma 
o  acumulación.  Parece  mejor  la  traducción  que  UNICEF  hace  del  término 
como  una  evaluación  “de  resumen”,  pues  en  realidad,  y  tal  como  la  usó  Scri¬ 
ven  en  su  origen,  connota  una  recapitulación  de  los  efectos  de  un  conjunto 
de  acciones  (programa,  proyecto)  sobre  sus  destinatarios  (UNICEF,  1990). 


62 


Los  tipos  de  evaluación 


na  intervención  o  acción  humana  (proyecto,  programa, 
política,  servicio).  Debe  producir  información  acerca  de 
su  efectividad  y  de  las  condiciones  en  las  que  puede  ser 
eficaz  en  otras  situaciones,  momentos  o  lugares.  Se  em¬ 
plea  frecuentemente  para  decidir  qué  programas  o  ac¬ 
ciones  merecen  una  nueva  inversión  o  la  obtención  de 
fondos  adicionales.  Lleva  por  lo  tanto  a  decisiones  rela¬ 
tivas  a  la  continuación,  finalización,  expansión  de  los 
programas  o  proyectos  y  responde  principalmente  a  las 
necesidades  de  quienes  los  formulan  o  los  financian.  En 
particular,  contribuye  a  suministrar  elementos  de  juicio 
sobre  la  replicabilidad  de  una  determinada  intervención 
en  diferentes  contextos,  ampliando  de  este  modo  el  aba¬ 
nico  de  sus  potenciales  usuarios.  En  el  caso  presentado 
anteriormente  acerca  de  la  aplicación  del  currículo  ela¬ 
borado  y  mejorado,  se  emprendería  una  evaluación  “de 
resumen”  con  el  propósito  de  determinar  si  es  efectivo 
para  mejorar  las  capacidades  de  los  alumnos  o  para  in¬ 
troducir  cambios  en  sus  actitudes  hacia  el  aprendizaje.  El 
juicio  evaluativo  en  este  caso  sirve  para  decidir  la  conti¬ 
nuación  del  programa  y  la  generalización  de  su  aplica¬ 
ción  a  otros  establecimientos  escolares. 

Sin  embargo,  si  se  tiene  en  cuenta  la  íntima  relación 
entre  los  procesos  de  gestión  y  el  impacto  obtenido, 
puede  decirse  que  muchas  evaluaciones  sirven  a  ambos 
propósitos.  En  nuestro  ejemplo,  la  evaluación  formativa 
del  currículo  llevará  de  hecho  a  decisiones  acerca  de  su 
aplicabilidad,  mientras  que  la  de  resumen  puede  contri¬ 
buir  a  nuevas  revisiones  y  ajustes  para  aumentar  su  efi¬ 
cacia. 

Si  bien  en  la  práctica  suelen  usar  distintos  tipos  de  in¬ 
formación  y  criterios  de  evaluación,  en  nuestra  opinión, 
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el  valor  de  esta  distinción  reside  en  un  llamado  de  aten¬ 
ción  a  la  necesidad  de  realizar  evaluaciones  durante  to¬ 
do  el  ciclo  vital  de  un  proyecto.  En  realidad,  como  se  ha 
afirmado  en  el  primer  capítulo,  el  propósito  de  la  eva¬ 
luación  es  contribuir  a  un  aprendizaje  que  impulse  el 
cambio  o  la  aplicación  de  medidas  correctivas.  Desde  es¬ 
ta  perspectiva,  toda  evaluación  cumple  una  función  for¬ 
ma  ti  va. 

Otra  distinción  también  tradicional  en  la  literatura 
sobre  el  tema  es  la  que  se  establece  entre  evaluación  des¬ 
criptiva  y  explicativa  (Suchman,  1967).  La  primera  se  re¬ 
fiere  a  los  estudios  que  tienen  por  objetivo  pronunciarse 
respecto  del  éxito  o  fracaso  de  un  programa  a  partir  de  la 
descripción  cuantitativa  o  cualitativa  de  sus  actividades, 
sus  procesos  o  sus  resultados  y  de  su  comparación  con  al¬ 
gún  objetivo,  meta  o  estándar  preestablecido. 

La  segunda  se  propone  identificar  los  factores  que  ex¬ 
plican  situaciones  de  éxito  o  fracaso  de  los  objetivos  de 
un  programa.  Construye  esquemas  interpretativos  de  la 
multiplicidad  de  causas  e  interdependencia  de  efectos  a 
partir  de  marcos  conceptuales  y  teóricos  preexistentes  o 
bien  de  la  formulación  de  hipótesis  a  verificar. 

Entendemos  que  se  trata  de  una  distinción  artificial. 
Toda  evaluación  debe  describir  (y  ello  posiblemente  cons¬ 
tituya  su  primera  etapa  metodológica),  pero  su  diseño 
debe  considerar  también  la  identificación  de  los  factores 
que  intervienen  para  explicar  los  logros  y  los  fracasos.  Por 
otra  parte,  como  ya  dijimos,  toda  intervención  social  es 
una  estrategia  destinada  a  producir  cambios  en  un  con¬ 
texto  determinado.  Implica  una  serie  de  hipótesis  acerca 
de  los  resultados  esperados  que  se  traducen  en  la  formu¬ 
lación  de  objetivos;  por  ejemplo,  si  el  objetivo  de  un  pro¬ 
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yecto  es  producir  una  mejora  en  las  condiciones  de  vida 
de  un  grupo  o  una  comunidad  mediante  la  puesta  en 
marcha  de  un  microemprendimiento,  existe  una  hipóte¬ 
sis  subyacente  de  que  esta  acción  será  efectiva  para  pro¬ 
ducir  cambios  en  la  situación  de  empleo  y  en  el  nivel  de 
ingresos  del  grupo  destinatario.  La  evaluación,  en  última 
instancia,  busca  verificar  o  desechar  tal  hipótesis  a  través 
de  la  descripción  de  los  resultados  alcanzados  y  explicar 
las  condiciones  en  las  que  se  verifica,  o  en  caso  contrario 
identificar  los  factores  -tanto  del  contexto  o  mundo  ex¬ 
terior  significativo  como  de  su  gestión-  que  dificultan  u 
obstaculizan  los  logros  previstos. 


Énfasis  según  temas:  ¿qué  evaluamos? 

Una  distinción  relevante  se  basa  en  los  aspectos  o  fa¬ 
cetas  de  un  programa  o  proyecto  que  se  quiere  estudiar 
y  juzgar.  Desde  esta  perspectiva,  existen  innumerables  ti¬ 
pologías  pero,  en  general,  responden  a  tres  grandes  cri¬ 
terios  clasificatorios. 

El  primer  criterio  se  basa  en  las  etapas  del  ciclo  de  un 
programa  o  proyecto:  en  este  caso  se  diferencian  los  as¬ 
pectos  vinculados  a  su  diseño  y  conceptualización  (evalua¬ 
ción  de  necesidades,  evaluación  de  contexto,  evaluación 
del  diseño  y  programación),  aquellos  vinculados  a  su  de¬ 
sarrollo  o  implementación  (estructura,  organización,  recur¬ 
sos  humanos,  materiales  y  económicos,  procedimientos, 
actividades,  etc.)  y  aquellos  vinculados  a  sus  resultados 
(efectos,  impactos,  rendimiento,  etc.).  Esta  clasificación 
prácticamente  coincide  con  la  que  distingue  los  momen¬ 
tos  de  la  evaluación.  Sólo  difiere  en  que  pone  el  acento 
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en  el  qué  -los  contenidos-  y  no  en  el  cuándo  -los  mo¬ 
mentos-  se  evalúa. 

El  segundo  criterio  alude  más  bien  a  los  componentes 
relevantes  de  los  programas.  En  este  eje  las  clasificacio¬ 
nes  más  difundidas  son:  evaluaciones  de  insumos,  proce¬ 
sos  y  productos;  de  estructura,  procesos  y  resultados  o 
efectos;  de  procesos  y  de  impactos. 

La  evaluación  de  insumos  tiene  por  objeto  describir  y 
analizar  los  recursos  humanos,  materiales  y  financieros 
con  que  cuenta  un  programa;  la  forma  en  que  dichos  re¬ 
cursos  son  procesados  de  acuerdo  con  criterios  de  rele¬ 
vancia,  factibilidad  y  economía  en  su  uso  y  las  estrategias 
de  obtención  de  insumos  destinados  a  implementar  di¬ 
chas  estrategias.  La  evaluación  de  procesos  estudia  los  me¬ 
dios  procesales  (actividades,  procedimientos,  prestacio¬ 
nes)  que  se  utilizan  para  llevar  a  cabo  un  programa,  tanto 
en  su  diseño  como  en  el  modo  como  éste  se  implementa. 
Se  trata  de  emitir  un  juicio  acerca  de  la  capacidad  y  las  es¬ 
trategias  de  procesamiento  de  insumos  que  tiene  el  siste¬ 
ma.  Sirve  para  elegir  cursos  alternativos  de  acción  para  la 
operacionalización,  ejecución  y  el  control  del  proyecto. 
La  evaluación  de  productos  estudia  el  logro  de  metas  pro¬ 
puestas  que  se  expresan  en  términos  de  productos  espera¬ 
dos.  Emite  un  juicio  sobre  los  resultados  obtenidos  en 
términos  de  productividad,  concepto  que  vincula  los  pro¬ 
ductos  alcanzados  a  los  insumos  utilizados  para  el  desa¬ 
rrollo  de  las  actividades.  Esta  clasificación  proviene  del 
campo  de  la  economía,  de  las  evaluaciones  de  emprendi¬ 
mientos  productivos  y  de  obras  físicas. 

La  clasificación  en  estructuras ,  procesos  y  resultados  (o 
efectos)  proviene  del  campo  de  la  salud  (Donabedian, 
1990)  e  incorpora  una  terminología  más  adecuada  a  la  ín- 
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dolé  de  los  proyectos  sociales.  La  noción  de  estructura 
alude  aquí  a  la  combinación  de  los  recursos  y  a  su  organi¬ 
zación  para  la  prestación  y  el  desarrollo  de  determinados 
servicios  y  actividades  (procesos)  con  el  objeto  de  alcan¬ 
zar  ciertos  resultados.  Por  otra  parte,  esta  clasificación 
vincula  la  evaluación  a  la  planificación/programación.  En 
la  metodología  moderna  de  planificación  se  plantean  ob¬ 
jetivos  en  términos  de  resultados,  procesos  y  estructuras, 
en  el  entendimiento  de  que  los  resultados  se  obtienen  si 
se  desarrollan  los  procesos  programados,  los  que  a  su  vez 
se  podrán  realizar  en  la  medida  en  que  se  disponga  de  las 
estructuras  necesarias.  La  evaluación  retoma  esos  compo¬ 
nentes  y  se  evalúan  estructuras,  procesos  y  resultados,  en 
una  secuencia  inversa  a  la  de  la  planificación. 

La  clasificación  relativa  a  evaluación  de  procesos  y  evalua¬ 
ción  de  impactos  es  muy  utilizada  en  el  campo  de  los  proyec¬ 
tos  sociales.  En  este  marco  terminológico,  la  primera 
apunta  a  determinar  el  valor  del  desempeño  actual  del 
proyecto,  es  decir,  el  grado  en  que  va  cumpliendo  con  las 
actividades  previstas,  alcanzando  los  resultados  esperados 
dentro  de  los  plazos  y  con  los  recursos  programados,  y 
procura  identificar  las  causas  de  los  problemas  que  van 
surgiendo  de  modo  de  corregir  y  revisar  oportunamente  la 
marcha  del  proyecto.  La  evaluación  de  impactos  pone  én¬ 
fasis  en  los  resultados  logrados  en  los  destinatarios,  los 
compara  con  los  esperados  y  procura  encontrar  las  causas 
de  las  diferencias.  Muchas  veces  esas  causas  se  encontra¬ 
rán  con  claridad  a  partir  de  la  evaluación  de  los  procesos 
realizados;  otras  veces  tendrán  más  que  ver  con  factores 
contextúales  que  con  los  proyectos  mismos. 

La  multiplicidad  de  denominaciones  para  compo¬ 
nentes  similares  de  los  proyectos  merece  aquí  un  párra- 
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fo  aparte,  en  particular  las  que  se  refieren  a  sus  resulta¬ 
dos.  “Productos”,  “efectos”,  “impactos”  son  términos 
que  pueden  englobarse  dentro  del  concepto  más  general 
de  resultados  aunque  no  son  utilizados  siempre  de  forma 
equivalente  ni  unívoca.  Los  matices  que  suelen  encon¬ 
trarse  remiten  en  última  instancia  a  distintos  tipos  de  re¬ 
sultados  o  distintos  momentos  del  ciclo  de  un  proyecto 
en  que  éstos  pueden  verificarse,  así  como  a  sus  diferen¬ 
tes  ámbitos  o  espacios  de  repercusión.  Los  objetivos  del 
programa  o  proyecto  constituyen  la  contracara  de  los  re¬ 
sultados  y  se  los  suele  denominar  también  con  distintos 
grados  de  generalidad  (finalidad,  propósito  u  objetivo 
general,  objetivos  específicos,  objetivos  intermedios, 
etc.).  Podemos  ilustrar  estos  matices  mediante  un  ejem¬ 
plo  sencillo.  Tomemos  un  proyecto  de  capacitación  téc¬ 
nica  de  jóvenes  no  escolarizados  de  bajos  recursos  im- 
plementado  con  el  objetivo  de  que  obtengan  una  rápida 
salida  laboral  para  contribuir  a  mejorar  las  condiciones 
de  vida  de  sus  familias.  Se  suele  denominar  “productos” 
a  los  resultados  concretos  de  las  actividades,  en  este  ca¬ 
so,  los  cursos  realizados  y  los  jóvenes  capacitados.  Los 
efectos  (buscados  o  programados)  se  vinculan  a  los  obje¬ 
tivos  del  proyecto,  en  este  caso:  la  inserción  ocupacional 
de  los  jóvenes  capacitados.  También  pueden  referirse  a 
otros  resultados,  previstos  o  no,  como  el  aumento  de  la 
autoestima  de  los  jóvenes  capacitados,  la  mayor  integra¬ 
ción  familiar  en  sus  hogares,  etc.  El  impacto  se  vincula  a 
los  objetivos  más  generales  del  proyecto  y  se  refiere  a  los 
cambios  que  se  persiguen  (a  veces  no  formulados  explí¬ 
citamente)  y  que  podrán  verificarse  en  las  condiciones 
de  vida  de  la  población;  en  el  ejemplo  podrían  ser  impac¬ 
tos  el  mejoramiento  del  ingreso  familiar,  la  reducción  de 
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la  delincuencia  juvenil,  entre  otros.  Es  necesario  señalar 
que  la  evaluación  de  impacto  busca  identificar  aquellos 
cambios  atribuibles  a  la  acción  del  proyecto,  despejando 
otros  factores  que  podrían  haber  intervenido.6 

Finalmente,  el  tercer  criterio  de  clasificación  pone  el 
acento  en  ciertos  atributos  de  los  programas  o  de  sus 
componentes:  la  pertinencia,  la  idoneidad  o  suficiencia, 
la  eficacia,  la  efectividad,  el  rendimiento,  la  rentabilidad, 
la  productividad,  la  eficiencia,  etc./  conceptos  que  no 
siempre  son  unívocos  pero  que  cuentan  con  algún  con¬ 
senso,  al  menos  en  cuanto  a  su  significado  general. 

La  pertinencia  se  refiere  a  la  adecuación  de  un  progra¬ 
ma  o  proyecto  (o  de  alguno  de  sus  componentes)  para  sa¬ 
tisfacer  necesidades  y  demandas  o  para  resolver  la  situa¬ 
ción  -problema  que  le  dio  origen-.  En  otros  términos,  se 
refiere  a  la  adecuación  de  la  formulación  al  “estado  del 
arte”  en  la  respectiva  rama  del  saber. 

La  idoneidad  o  suficiencia  se  refiere  a  la  capacidad  de  un 
programa  o  proyecto  (o,  más  específicamente,  de  sus 
componentes)  para  contribuir  a  los  objetivos  y  metas  pro¬ 
gramados.  Así,  suele  hablarse  de  idoneidad  de  las  activi¬ 
dades,  suficiencia  de  los  recursos,  etc. 

La  eficacia  y  la  efectividad  se  refieren  a  la  capacidad  de  un 
programa  o  proyecto  para  alcanzar  los  objetivos  progra¬ 
mados  que,  como  se  ha  mencionado,  no  son  sino  la  expre¬ 
sión  de  los  resultados  buscados.  Si  bien  los  dos  términos 
suelen  usarse  como  sinónimos,  es  muy  útil  establecer  una 

6.  Se  volverá  sobre  la  cuestión  de  los  distintos  tipos  de  resultados  en 
el  capítulo  5  de  este  libro. 

7.  Se  pueden  agregar  otros  atributos  a  esta  lista,  como  accesibilidad, 
equidad,  sustentabilidad.  Nos  detendremos  nuevamente  en  estos  concep¬ 
tos  al  abordar  nuestra  propuesta  de  “modelo  evaluativo”. 
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distinción  entre  ambos  (Pineault  y  Daveluy,  1987).  La  efi¬ 
cacia  se  refiere  a  la  capacidad  de  un  proyecto  o  de  alguno 
de  sus  componentes  para  alcanzar  sus  objetivos  en  condi¬ 
ciones  ideales,  es  decir,  si  se  dan  las  condiciones  prefijadas 
y  aplicando  las  normas  tal  como  se  han  formulado  para  la 
aplicación  de  las  técnicas  específicas,  mientras  que  la  efec¬ 
tividad  se  refiere  a  la  comparación  de  los  resultados  obte¬ 
nidos  respecto  de  los  esperados,  teniendo  en  cuenta  las 
condiciones  concretas  de  ejecución,  en  las  circunstancias 
reales  del  contexto  del  proyecto  o  programa  y  con  aplica¬ 
ciones  distantes  en  mayor  o  menor  medida  de  las  normas 
formuladas.  Los  autores  citados  hablan  por  un  lado  de  efi¬ 
cacia  potencial  y  por  otro  de  eficacia  real  (o  efectividad)  y 
sus  explicaciones  se  refieren  a  programas  de  atención  de 
salud,  los  cuales  suelen  estar  más  normalizados  que  la  ma¬ 
yoría  de  los  programas  y  proyectos  del  campo  social. 

Como  puede  lograrse  una  multiplicidad  de  resultados 
(expresados  en  objetivos  de  distinto  nivel  de  especificidad), 
la  evaluación  de  la  eficacia  o  la  efectividad  de  los  proyectos 
sociales  suele  enfatizar  sus  fines  últimos  en  términos  de  las 
soluciones  a  los  problemas  sociales  o  del  mejoramiento  de 
la  situación  del  grupo  humano  al  que  van  dirigidos.  Un 
proyecto  puede  no  ser  eficaz,  aunque  alcance  sus  metas  en 
términos  de  los  servicios  o  actividades  a  realizar,  aunque 
haga  un  uso  adecuado  de  los  recursos,  aunque  tenga  una 
estructura  que  favorezca  la  realización  de  las  tareas  progra¬ 
madas,  si  no  logra  producir  los  cambios  deseados  en  las 
condiciones  de  vida  de  la  población  a  la  que  se  dirige. 

En  este  punto  es  necesario  reiterar  la  importancia  que 
tiene  contar  con  buenos  diagnósticos  acerca  de  las  caracte¬ 
rísticas,  y  agregamos  también  de  la  magnitud,  del  proble¬ 
ma  específico  que  se  pretende  resolver  mediante  la  inter¬ 
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vención  social  determinada;  habrá  que  responder  entonces 
a  las  preguntas  siguientes:  ¿en  qué  consiste  el  problema?, 
¿qué  consecuencias  habrá  si  no  se  lo  resuelve?,  ¿cuántas  de 
las  personas  en  la  población  del  territorio  considerado  pa¬ 
decen  el  problema  a  resolver?  Al  responderlas  conocere¬ 
mos  la  relevancia  y  magnitud  del  problema.  Y  algo  muy  im¬ 
portante:  tendremos  los  “denominadores”  apropiados  para 
poder  estimar  luego  la  cobertura  del  programa  o  proyecto 
y  a  partir  de  allí  su  eficacia  real  o  efectividad.  Se  entenderá 
mejor  con  un  ejemplo:  se  trata  de  un  centro  donde  se  brin¬ 
da  complementación  escolar  para  niños  con  bajo  rendi¬ 
miento  que  asisten  a  las  escuelas  de  un  determinado  barrio. 
Para  poder  establecer  la  eficacia  de  ese  centro  hay  que  co¬ 
nocer  la  magnitud  del  problema  en  las  escuelas  del  barrio; 
desde  un  punto  de  vista  restringido,  puede  decirse  que  el 
centro  es  eficaz  pues  los  chicos  que  asistieron  a  él  mejora¬ 
ron  su  rendimiento  y  promovieron  al  grado  posterior,  pe¬ 
ro  desde  un  punto  de  vista  más  general,  si  la  cantidad  de  ni¬ 
ños  atendidos  es  muy  baja  respecto  de  la  cantidad  de  niños 
que  padecen  el  problema  en  las  escuelas  del  barrio,  la  in¬ 
tervención  no  está  siendo  del  todo  eficaz  pues  alcanza  a  re¬ 
solver  sólo  una  pequeña  parte  del  problema,  y  por  ende 
una  conclusión  es  que  para  mejorar  la  eficacia  debería  au¬ 
mentarse  la  escala  de  la  intervención  en  ese  barrio. 

El  rendimiento,  la  rentabilidad,  la  productividad  y  la 
eficiencia  constituyen  conceptos  asociados  generalmente 
a  la  evaluación  económica  de  un  proyecto.  El  término  más 
general  y  relevante  es  el  de  eficiencia.  Esta  se  define  como 
la  relación  entre  los  productos  o  resultados  esperados  de 
un  proyecto  y  los  costos  de  los  insumos  o  procesos  de  apo¬ 
yo  o  funcionamiento  que  implica.  Esta  relación  puede  es¬ 
tablecerse  de  diferentes  formas  y  utilizando  diversas  técni- 
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cas  procedentes  del  análisis  económico  (costo-beneficio, 
costo-eficacia  o  efectividad).  Las  aproximaciones  a  un 
cálculo  de  costo-beneficio  en  el  campo  de  lo  social  son 
muy  complejas  por  la  dificultad  de  valorar  y  traducir  en 
unidades  comparables  -monetarias  o  no-  los  beneficios  o 
resultados  muchas  veces  “intangibles”  de  intervenciones 
sociales,  en  relación  con  los  costos  de  los  recursos  que  in¬ 
sumen  las  posibles  alternativas  de  inversión  (ex  ante).  La 
evaluación  de  la  eficiencia  de  un  proyecto  debe  brindar 
elementos  de  juicio  para  identificar  alternativas  de  acción 
que  permitan  obtener  mejores  resultados  con  igual  canti¬ 
dad  de  recursos  o  bien  los  mismos  resultados  con  una 
mejor  combinación  o  utilización  de  los  recursos  existen¬ 
tes.  En  el  campo  de  la  salud  y  de  la  educación  se  han  de¬ 
sarrollado  instrumentos  para  la  evaluación  de  la  eficien¬ 
cia  de  servicios  y  programas.  En  el  campo  más  amplio  de 
las  intervenciones  sociales  destinadas  a  incidir  en  las  con¬ 
diciones  de  vida  de  la  población  queda  aún  mucho  cami¬ 
no  por  recorrer.  Pero  al  transitarlo,  debería  tenerse  en 
cuenta  que  lo  que  es  necesario  mejorar  es  la  eficiencia  de 
los  proyectos  eficaces ,  lejos  de  perseguir  la  eficiencia  como 
un  fin  en  sí  mismo  o  como  valor  absoluto.  Esta  última  si¬ 
tuación  es  frecuente  cuando  el  campo  de  la  acción  social 
es  “invadido”  por  criterios  meramente  economicistas. 


Los  distintos  objetos  posibles  de  evaluación: 

¿tipos  o  niveles  de  análisis? 

Existe  una  multiplicidad  de  unidades  diferentes  que 
han  sido  y  son  objeto  de  evaluación:  desde  un  conjunto 
de  organizaciones  (por  ejemplo,  el  sistema  educativo,  los 


72 


Los  tipos  de  evaluación 


sistemas  locales  de  salud),  una  organización  (escuela, 
hospital,  organización  comunitaria),  una  política,  un 
programa  o  un  proyecto  hasta  productos  específicos  o 
servicios  brindados  por  una  organización  o  por  un  con¬ 
junto  de  organizaciones.  Cabe  aclarar  que  se  entiende 
por  programa  o  proyecto  social  una  intervención  social 
planificada  destinada  a  obtener  determinados  resultados 
en  un  segmento  de  población.  Ambos  suelen  diferenciar¬ 
se  entre  sí  por  su  escala  y  su  duración.  El  programa  alu¬ 
de  más  a  un  conjunto  de  actividades  integradas  con  con¬ 
tinuidad  temporal,  mientras  que  un  proyecto  constituye 
una  unidad  menor  desde  el  punto  de  vista  de  su  comple¬ 
jidad  y  la  cantidad  de  componentes,  y  se  diferencia  del 
programa  porque  tiene  una  duración  limitada  y  atiende 
una  demanda  o  una  necesidad  social  puntual.  En  el  len¬ 
guaje  de  la  programación  tradicional,  solía  considerarse 
proyectos  a  los  componentes  de  un  programa. 

Cada  una  de  las  unidades  mencionadas  tiene  algunas 
especificidades  en  términos  de  criterios  de  evaluación  y 
dimensiones  de  análisis,  pero  muchos  aspectos  en  común. 
Asimismo,  pueden  requerir  algunas  técnicas  específicas 
(por  ejemplo,  en  el  caso  de  organizaciones  se  utilizarán  las 
que  son  más  propias  del  análisis  organizacional).  La  expe¬ 
riencia  acumulada  en  la  evaluación  de  algunos  de  estos  ob¬ 
jetos  ha  llevado  al  desarrollo  de  subáreas  que  se  manejan 
con  criterios  y  técnicas  propias:  por  ejemplo,  la  evaluación 
de  actividades,  proyectos  o  programas  de  capacitación  o 
educativos,  o  bien  la  evaluación  de  servicios  de  salud. 

Desde  el  punto  de  vista  conceptual  no  constituyen  de 
por  sí  tipos  diferentes  de  evaluación:  cualquiera  de  las 
clasificaciones  anteriormente  mencionadas  puede  apli¬ 
carse  a  estos  diferentes  objetos  de  evaluación. 


73 


Olga  Nirenberg,  Josette  Brawerman,  Violeta  Ruiz 


Importa  más  bien  distinguir  los  niveles  de  análisis  o 
recortes  de  la  realidad  cuyas  especificidades  deben  tener¬ 
se  en  cuenta  en  el  diseño  de  la  evaluación  de  modo  de 
utilizar  encuadres  metodológicos,  formas  de  abordaje  y 
técnicas  adecuadas.  Los  riesgos  más  frecuentes  en  el 
abordaje  y  el  análisis  son  la  transposición  del  nivel  -fala¬ 
cia  del  nivel  equivocado-  y  la  utilización  inadecuada  de 
técnicas  que  no  se  corresponden  con  el  nivel  de  aplica¬ 
ción  para  el  que  fueron  concebidas. 

Para  dar  un  ejemplo  del  campo  de  salud,  es  frecuente 
que  se  trasladen  las  variables  vinculadas  a  la  relación  mé¬ 
dico-paciente  (o  equipo  de  salud-paciente)  a  la  evalua¬ 
ción  de  programas  de  salud  o  del  desempeño  de  estable¬ 
cimientos,  o  más  aún  a  la  evaluación  de  sistemas  locales 
de  salud,  cuando  cada  uno  de  estos  niveles  tiene  especi¬ 
ficidades  que  le  son  propias. 

La  estrategia  de  evaluación  de  clusters ,8  desarrollada 
en  los  últimos  años  en  respuesta  a  iniciativas  de  gran  es¬ 
cala  financiadas  por  fundaciones  privadas  y  agencias  pú¬ 
blicas  americanas  y  de  varios  países  europeos  (Worthen  y 
Schmitz,  1997),  constituye  un  ejemplo  de  cómo  los  dise¬ 
ños  de  evaluación  deben  adecuarse  al  nivel  de  análisis 
donde  se  concretarán.  Esta  estrategia  se  aplica  a  determi¬ 
nadas  líneas  de  programas  con  ejecución  descentralizada 
dentro  de  las  que  se  identifican  conjuntos  de  proyectos 
considerados  “agrupaciones”  porque  tienen  en  común  ya 
sea  su  ideario  o  misión,  su  modalidad  de  intervención  o 
el  tipo  de  población  destinataria  (los  niños,  los  jóvenes, 
etc.),  y  adicionalmente,  aunque  no  exclusivamente,  el 


8.  Cluster  significa,  en  inglés,  racimo,  ramillete,  haz,  enjambre,  agol¬ 
pamiento,  constelación. 
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origen  del  financiamiento.  En  esos  casos,  la  evaluación  se 
orienta,  mediante  un  diseño  particular,  a  obtener  apre¬ 
ciaciones  sobre  el  desempeño  global  del  conjunto  así  co¬ 
mo  sobre  el  desempeño  de  cada  proyecto  integrante  del 
conjunto.  Se  trata  por  lo  tanto  de  un  abordaje  específico 
para  un  nivel  de  análisis  particular:  un  grupo  de  proyec¬ 
tos  que  comparten  determinadas  características.  En  el 
capítulo  5  se  encontrarán  referencias  a  la  evaluación  de 
clusters  o  programas  complejos. 

Para  concluir,  cabe  aclarar  que  nuestra  conceptualiza- 
ción  de  la  evaluación  se  aplica  a  cualquiera  de  los  niveles 
mencionados;  lo  que  podrá  variar  es  el  foco,  así  como  al¬ 
gunas  de  las  técnicas  que  se  seleccionen  para  recolectar  y 
analizar  la  información  relevante.  Sin  embargo,  pondre¬ 
mos  el  énfasis  y  utilizaremos  ejemplos  de  programas  o 
proyectos,  términos  que  usaremos  indistintamente. 


Para  evaluar  las  evaluaciones 

La  metaevaluación  puede  considerarse  un  caso  parti¬ 
cular  de  la  clasificación  previa,  pues  se  distingue  por  su 
objeto,  a  la  vez  que  constituye  un  nivel  de  evaluación; 
desde  otro  punto  de  vista  puede  ser  también  catalogada 
como  una  evaluación  externa.  Se  realiza  con  el  propósi¬ 
to  de  juzgar  aspectos  centrales  del  propio  proceso  eva- 
luativo:  apreciar  su  viabilidad  y  la  del  uso  de  sus  resulta¬ 
dos,  analizar  la  utilidad  de  los  hallazgos,  emitir  un  juicio 
acerca  de  la  pertinencia  metodológica  y  ética  así  como 
de  la  confiabilidad  del  proceso  evaluativo  realizado  y  de 
los  hallazgos,  la  adecuación  de  las  conclusiones  y  las  re¬ 
comendaciones  que  se  formularon. 
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Si  son  pocos  los  programas  o  proyectos  sociales  que 
se  evalúan  de  forma  integral  y  continua,  son  menos  aun 
aquellos  casos  en  los  que  se  llevan  a  cabo  procesos  de 
metaevaluación  propiamente  dichos.  La  literatura  refie¬ 
re  algunas  experiencias,  la  mayoría  de  ellas  del  campo 
educativo  y  en  los  Estados  Unidos. 

La  metaevaluación  se  distingue  de  la  evaluación  en  ge¬ 
neral  por  su  objeto,  pero  los  pasos  metodológicos  son  los 
mismos:  requiere  del  diseño  previo  de  un  modelo  inclusi¬ 
vo  de  las  dimensiones  y  variables  que  se  considerarán,  las 
técnicas  elegidas,  los  instrumentos  y  las  pautas  que  uni¬ 
formen  los  criterios  del  equipo  metaevaluador. 

Se  diferencia  de  esa  otra  acción  de  las  oficinas  de  eva¬ 
luación  de  las  agencias  financiadoras  o  de  cooperación, 
cuando  formulan  observaciones  o  comentarios  genera¬ 
les  sobre  los  informes  y  las  metodologías  de  evaluación 
enviados  por  los  programas  o  proyectos  apoyados. 

Conforme  se  anticipó,  la  metaevaluación  constituye 
un  nivel  de  la  evaluación,  cuyo  objeto  es  el  propio  mode¬ 
lo  y  proceso  evaluativo.  Dado  que  ese  nivel  está  “por  en¬ 
cima”  de  la  evaluación  propiamente  dicha,  hay  ciertas  re¬ 
comendaciones  a  tener  en  cuenta,  para  que  los  resultados 
de  esa  actividad  sean  realmente  aplicables  y  útiles. 

•  En  el  diseño  del  modelo  para  la  metaevaluación  debe 
darse  intervención  a  los  miembros  del  equipo  de  evalua¬ 
ción  (ya  que  será  en  gran  parte  el  “objeto”  a  evaluar). 

•  Los  integrantes  del  equipo  de  la  metaevaluación  de¬ 
ben  acreditar  perfiles  de  mayor  experiencia,  idonei¬ 
dad  y  prestigio  que  los  del  equipo  de  la  evaluación, 
dado  que  evaluarán  el  desempeño,  los  informes  y  las 
conclusiones  de  esos  últimos. 
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•  Es  conveniente  que  la  metaevaluación  acompañe  las 
diferentes  etapas  del  proceso  de  evaluación,  para  per¬ 
mitir  realizar  ajustes  oportunos  a  la  direccionalidad 
del  proceso  evaluativo,  tal  como  se  aconseja  para  este 
último  en  cuanto  a  acompañar  el  proceso  de  gestión 
de  los  programas  o  proyectos. 

•  Deberá  ponerse  especial  cuidado  en  las  formas  de  efec¬ 
tuar  las  recomendaciones  y  la  “devolución”  de  los  ha¬ 
llazgos,  ofreciendo  momentos  y  espacios  para  que  los 
evaluadores  evaluados  puedan  discutir  e  introducir  mo¬ 
dificaciones  y  ajustes  a  los  informes  de  la  metaevalua¬ 
ción  (tal  como  se  aconseja  para  todas  las  evaluaciones). 

Por  lo  demás,  las  metodologías  coinciden  con  las  de 
la  evaluación  en  general. 


La  multidimensionalidad  de  la  evaluación 

Una  conclusión  que  puede  extraerse  de  las  clasificacio¬ 
nes  anteriores  es  que  ponen  el  acento  en  aspectos  simila¬ 
res  desde  perspectivas  diferentes.  Así,  resulta  difícil  dife¬ 
renciar  en  la  práctica  la  evaluación  ex  post  de  la  sumativa  o 
de  la  de  impacto,  o  bien  la  evaluación  de  procesos  de  la 
formativa  o  del  monitoreo.  En  realidad,  abarcan  el  univer¬ 
so  de  aplicación  de  la  evaluación,  organizándolo  para  res¬ 
ponder  alternativamente  a  diferentes  preguntas:  para  qué 
se  evalúa,  quién  evalúa,  cuándo  evaluar  y  qué  se  evalúa. 

Los  desafíos  que  el  desarrollo  de  la  práctica  fue  plan¬ 
teando  frente  a  las  limitaciones  de  las  modalidades  más 
tradicionales  de  evaluación  contribuyeron  a  su  enrique¬ 
cimiento.  Ahora  se  presta  mayor  atención  a  las  caracte- 
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rísticas  de  los  potenciales  usuarios  de  los  hallazgos  eva¬ 
lúa  tivos.  La  incorporación  de  diferentes  perspectivas 
-clientes,  financiadores,  la  misma  comunidad-  ha  am¬ 
pliado  el  horizonte  de  aspectos  a  considerar;  se  concibe 
la  evaluación  cada  vez  más  como  un  proceso  continuo  de 
autoaprendizaje,  considerando  tanto  los  procesos  como 
los  resultados,  y  se  procura  involucrar  de  forma  periódi¬ 
ca  a  quienes  están  vinculados  con  la  ejecución. 

Los  ejes  que  dieron  sentido  originalmente  a  la  con- 
ceptualización  de  los  distintos  tipos  de  evaluación  se  van 
borrando  y  se  tiende  a  encararla  como  una  actividad  más 
integral. 

En  los  últimos  cien  años  la  evaluación  ha  evolucionado  desde  un 
enfoque  unidimensional  llevado  a  cabo  por  un  solo  evaluador,  que 
generalmente  provenía  del  campo  técnico  que  se  estaba  evaluando, 
hasta  convertirse  en  una  actividad  multidimensional  concentrada 
en  múltiples  niveles  de  un  proyecto,  en  la  que  participa  una  gran 
variedad  de  generadores  de  productos  de  evaluación,  así  como 
usuarios  de  los  resultados  de  una  evaluación.  En  la  actualidad,  en 
lugar  de  basarse  únicamente  en  los  puntos  de  vista  de  un  solo  eva¬ 
luador  en  distintas  etapas,  un  grupo  mucho  mayor  de  involucrados 
ayuda  a  dar  forma  a  la  evaluación  y  a  interpretar  sus  hallazgos  [...] 
comienza  a  evolucionar  de  una  actividad  en  su  mayor  parte  ex  post 
para  convertirse  en  una  herramienta  utilizada  cada  vez  con  más  fre¬ 
cuencia  para  fines  de  monitoreo.  La  meta  de  la  evaluación  ha  pasa¬ 
do  de  la  auditoría  y  culpabilidad  a  la  meta  actual  del  entendimien¬ 
to  y  el  aprendizaje  en  función  de  experiencias  adquiridas  (Banco 
Interamericano  de  Desarrollo,  s/f). 

El  mayor  desafío  en  la  actualidad  consiste  entonces  en 
adoptar  abordajes  metodológicos  y  diseños  que  sean  a  la 
vez  rigurosos  e  integrales,  compatibles  con  los  requeri¬ 
mientos  derivados  de  la  multiplicidad  de  perspectivas 
que  se  ponen  en  juego  durante  el  proceso  evaluativo. 
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Que  “saber”  signifique  algo  más  que  “estar  cierto ”,  supo¬ 
ne  una  situación  comunitaria  en  que  varios  sujetos ,  o  yo 
mismo  en  varios  momentos ,  puedan  comprobar  lo  mismo. 
En  la  actualidad  instantánea  de  mi  conciencia  propia¬ 
mente  nada  se',  sólo  tengo  certezas.  Para  saber  algo,  nece¬ 
sito  salir  de  mí  y  compartir  otro  punto  de  vista.  El  saber 
requiere  la  comunidad  de  un  sujeto  con  otros. 

Luis  Villoro  (1996) 


La  diversidad  está  a  la  orden  del  día.  Así  como  existen 
diferentes  tipos  de  evaluación  según  cuándo,  para  qué, 
qué  y  quién  evalúa,  ha  proliferado  en  las  últimas  décadas 
una  multiplicidad  de  prescripciones,  denominadas  “mo¬ 
delos  evaluativos”1  acerca  de  qué  es  y  cómo  debe  hacer¬ 
se  la  evaluación,  enfatizando  diferentes  aspectos  según 
las  prioridades  y  preferencias  de  los  autores.  El  origen  de 
estos  modelos,  abordajes  o  enfoques  (como  también  se 
los  denomina)  puede  rastrearse  directamente  a  partir  de 
las  diferentes  visiones  de  sus  proponentes  acerca  de  la 
naturaleza  de  la  evaluación.  Sus  orientaciones  filosóficas 


1.  Briones  (1991)  denomina  “modelo  de  evaluación”  a  “un  esquema 
o  diseño  general  que  caracteriza  la  forma  de  la  investigación  evaluativa 
que  ha  de  realizarse,  las  técnicas  o  procedimientos  para  la  recolección  y 
análisis  de  la  información,  el  conocimiento  final  que  se  desea  obtener  y 
los  usuarios  principales  de  los  resultados  del  estudio”.  Como  se  despren¬ 
de  del  capítulo  5,  ese  significado  no  es  tan  diferente  del  que  nosotras 
adoptaremos.  y*"' 
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e  ideológicas,  sus  predilecciones  metodológicas  y  sus 
preferencias  prácticas  los  llevan  a  proponer  diseños,  mé¬ 
todos  de  recolección  y  análisis,  y  técnicas  interpretativas 
diferentes. 


Evaluación  cuantitativa  y  cualitativa. 

Un  debate  histórico 

Uno  de  los  ejes  de  los  abordajes  metodológicos  que 
ha  generado  mayor  discusión,  como  veremos  no  del  to¬ 
do  cerrada,  es  el  que  se  refiere  al  uso  de  los  métodos 
cuantitativos  o  cualitativos.  Merece  que  nos  detengamos 
en  este  debate  pues  ha  atravesado  la  historia  de  la  meto¬ 
dología  de  la  investigación  en  ciencias  sociales  e  impreg¬ 
nado  fuertemente  la  de  la  evaluación,  tanto  desde  el 
punto  de  vista  conceptual  como  en  la  práctica.  De  he¬ 
cho,  se  han  llegado  a  identificar  directamente  los  abor¬ 
dajes  con  la  índole  de  los  métodos  de  investigación  apli¬ 
cados  denominándolos,  de  modo  poco  afortunado  en 
nuestra  opinión,  “evaluación  cuantitativa”  y  “evaluación 
cualitativa”. 

Esquemáticamente,  suele  asociarse  la  evaluación  o 
investigación  cuantitativa  al  paradigma  positivista  de 
la  ciencia  y  se  la  identifica  con  el  enfoque  hipotético- 
deductivo.  Generalmente  se  centra  en  verificar  hipóte¬ 
sis  específicas  (parte  de  una  teoría  mayor)  a  través  de 
pruebas  empíricas  y  privilegia  la  explicación  de  los  fenó¬ 
menos  desde  el  punto  de  vista  de  los  investigadores/eva¬ 
luadores.  Utiliza  diseños  experimentales  o  cuasi  expe¬ 
rimentales.  Enfatiza  la  estandarización,  la  precisión,  la 
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objetividad  y  la  confiabilidad  de  la  medición  así  como 
la  replicabilidad  y  la  generalización  de  los  resultados. 
Predomina  el  uso  de  los  métodos  de  análisis  estadísti¬ 
co.  Se  preocupa  no  sólo  por  producir  datos  numéricos 
sino  por  generar  números  adecuados  a  pruebas  esta¬ 
dísticas. 

Por  su  parte,  los  enrolados  en  la  evaluación  o  investi¬ 
gación  cualitativa  intentan  recuperar  el  contexto  y  las  di¬ 
mensiones  humanas  del  fenómeno  en  estudio.  General¬ 
mente  esa  evaluación  se  realiza  en  medios  “naturales” 
(investigación  naturalista)  como  escuelas  o  vecindarios; 
el  investigador/evaluador  es  el  principal  “instrumento” 
de  recolección  y  el  que  analiza  los  datos;  enfatiza  la  des¬ 
cripción  “gruesa”,  aquella  que  ilumina  los  patrones  coti¬ 
dianos  de  conducta  y  su  significado  desde  la  perspectiva 
de  quiénes  se  estudian;  se  orienta  a  los  procesos  sociales 
y  no  sólo  se  concentra  en  los  resultados;  emplea  múlti¬ 
ples  técnicas  de  recolección  de  datos,  algunas  más  otras 
menos  estructuradas;  y  fundamentalmente  utiliza  el  len¬ 
guaje  de  las  palabras  y  un  enfoque  inductivo  en  el  análi¬ 
sis  de  datos. 

Se  plantean  a  continuación,  en  forma  esquemática  y 
a  modo  de  contrapunto,  las  principales  diferencias  que 
suelen  destacarse  entre  estos  abordajes  evaluativos. 


81 


Olga  Nirenberg ,  Josette  Brawerman ,  Violeta  Ruiz 


EVALUACIÓN  CUANTITATIVA 

EVALUACIÓN  CUALITATIVA 

Paradigma  positivista/empírico 

Paradigma 

fenomenológico/ constructivista 

Predominio  de  deducción 

Predominio  de  inducción, 
comprensión,  interpretación 

Diseños  experimentales 
o  cuasi  experimentales 

Investigación  naturalista 

Perspectiva  desde  afuera 
(punto  de  vista  del  observador) 

Perspectiva  desde  adentro 
(punto  de  vista  de  los  actores) 

Lenguaje  numérico 

Lenguaje  verbal 

Enfasis  en  los  aspectos 
“objetivos”,  observables 
y  cuantificables 

Enfasis  en  los  aspectos  subjetivos: 
captación  y  comprensión  de 
actitudes,  conductas,  valores  y 
motivaciones  internas 

Análisis  estadístico 

Análisis  de  contenido, 
estudio  de  casos 

Resultados  generalizables 

Resultados  limitados  en 
su  generalización 

Los  desacuerdos  entre  los  defensores  de  la  “evalua¬ 
ción  cuantitativa”  y  los  de  la  “evaluación  cualitativa”  se 
han  centrado  en  cuestionarse  mutuamente  el  uso  de  de¬ 
terminados  métodos  y  técnicas  y  la  capacidad  de  los  da¬ 
tos  relevados  por  una  u  otra  para  explorar,  explicar,  com¬ 
prender  y  predecir  los  fenómenos  sociales. 

De  todos  modos,  merece  destacarse  que  estos  desa¬ 
cuerdos  son  en  parte  producto  de  la  evolución  de  la  me¬ 
todología  de  investigación  social  en  el  último  medio  si¬ 
glo,  dentro  del  marco  de  los  paradigmas  científicos  pre¬ 
valecientes  en  cada  momento. 

Los  paradigmas  constituyen  perspectivas  generales  o 
teorías  explicativas  de  la  realidad  que  determinan  cómo 
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percibir  e  intentar  comprender  la  verdad.  Incluyen  y 
combinan  creencias  ontológicas  (¿qué  tipo  de  sujeto  es  el 
ser  humano?,  ¿cuál  es  la  naturaleza  de  la  realidad?,  ¿exis¬ 
te  en  los  hechos  o  en  el  pensamiento?),  epistemológicas 
(¿cuál  es  la  relación  entre  el  investigador  y  el  sujeto/ob¬ 
jeto  estudiado?)  y  metodológicas  (¿cómo  aprehendemos 
el  mundo  y  avanzamos  en  su  conocimiento?). 

Un  paradigma  científico  puede  definirse  como  un  principio  de 
distinciones-relaciones-oposiciones  fundamentales  entre  algunas 
nociones  matrices  que  generan  y  controlan  el  pensamiento,  es 
decir  la  constitución  de  teorías  y  la  producción  de  los  discursos 
de  los  miembros  de  una  comunidad  científica  determinada  [...]. 
Se  convierte  así  en  un  principio  rector  del  conocimiento  y  de  la 
existencia  humana.  Hay  que  considerarlo  como  un  mapa  útil,  co¬ 
mo  una  aproximación  adecuada  y  como  un  modelo  para  la  orga¬ 
nización  de  la  información  conocida  (Martínez  Miguelez,  1993, 
págs.  62-3). 

Reiteramos  entonces  que  la  práctica  de  la  evaluación 
estuvo  fuertemente  influenciada  por  el  paradigma  o  los 
paradigmas  científicos  predominantes  que  establecen 
qué  es  lo  importante,  lo  legítimo  y  lo  razonable  en  cada 
época. 

Hasta  fines  de  los  sesenta,  la  formación  en  materia  de 
investigación  de  quienes  se  desempeñaban  como  evalua¬ 
dores  provocó  un  claro  predominio  del  enfoque  experi¬ 
mental  considerado  como  el  único  que  podía  responder 
a  los  requerimientos  del  método  científico,  entendido  se¬ 
gún  el  enfoque  clásico  como  acumulación  del  conoci¬ 
miento  por  investigaciones  sucesivas,  formas  “objetivas” 
de  conocer,  y  con  énfasis  en  la  medición  como  sinónimo 
de  precisión  y  en  la  comprobación  de  hipótesis  median¬ 
te  pruebas  empíricas.  El  rigor  en  los  procedimientos  es 
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aquí  condición  para  encontrar  la  “verdad”.  Ello  llevó  a  la 
aplicación  de  diseños  cuasi  experimentales  para  captar  la 
relación  causal  entre  programa  y  resultado,  es  decir,  pa¬ 
ra  evaluar  si  las  metas  y  los  impactos  logrados  por  los 
programas  y  proyectos  sociales  son  imputables  a  ellos  o 
son  consecuencia  de  otros  factores.  Estos  diseños  requie¬ 
ren  como  mínimo  una  medición  de  la  situación  en  el  ini¬ 
cio  -línea  de  base-  y  otra  al  final  del  programa  -ex  post- 
o  del  uso  de  grupos  de  control.  Involucran  una  serie  de 
supuestos  de  homogeneidad,  estabilidad  y  racionalidad 
en  la  implementación,  así  como  de  confiabilidad  de  los 
registros,  difíciles  de  verificarse  o  mantenerse  durante 
períodos  prolongados  en  el  contexto  de  los  programas  y 
proyectos  sociales.  También  pueden  plantearse  proble¬ 
mas  éticos  al  requerir  la  creación  de  condiciones  experi¬ 
mentales  para  contar  con  un  grupo  de  control,  lo  que 
puede  significar  la  exclusión  de  individuos  de  los  benefi¬ 
cios  de  un  programa  o  proyecto  social. 

Sin  embargo,  en  los  años  setenta  comenzó  a  tener  ma¬ 
yor  aceptación  una  variedad  de  métodos  y  técnicas  cuali¬ 
tativas  que  en  los  sesenta  habían  sido  considerados  ina¬ 
ceptablemente  “blandos”  y  no  científicos.  Hubo  avances 
en  la  multidisciplinariedad,  ya  que  se  multiplicaron  los 
métodos  y  las  estrategias  de  investigación  alimentados 
por  diversas  disciplinas,  como  la  historia,  la  etnografía,  la 
semiótica,  la  antropología,  la  sociología.  Los  evaluadores 
adoptaron  cada  vez  más  las  formas  subjetivas  de  conocer, 
incorporando  valores  pluralísticos  y  utilizando  métodos 
cualitativos.  Por  un  lado,  se  produjo  una  especie  de  des¬ 
lumbramiento  sin  reconocer  cabalmente  la  complejidad 
de  esas  modalidades  y  las  competencias  requeridas  por 
parte  de  quienes  las  utilizaban,  con  lo  cual  también  hubo 
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una  “malversación”  de  tales  métodos  y  técnicas.  Y,  por 
otro  lado,  sus  detractores  cuestionaron  el  abandono  de  lo 
que  ellos  suponían  objetividad  y  rigor  científico. 

Es  a  fines  de  la  década  del  setenta  cuando  comenza¬ 
ron  a  percibirse  los  beneficios  de  la  integración  o  la 
complementación  de  ambos  enfoques  dentro  de  un  mis¬ 
mo  estudio  evaluativo  aunque,  como  veremos  enseguida, 
fueron  diversas  las  formas  en  que  se  dio  ese  enlace.  En  la 
última  mitad  de  la  década  del  noventa  el  debate  parece 
haber  perdido  intensidad,  al  menos  entre  los  expertos. 
La  mayoría  de  los  evaluadores  acepta  hoy  ambos  enfo¬ 
ques  (cuantitativo  y  cualitativo)  como  válidos.  El  énfasis 
que  se  ponga  en  uno  u  otro  depende  de  la  situación  o  de 
los  momentos  de  evolución  de  un  proyecto  o  programa 
y  pueden  complementarse  o  integrarse  en  un  mismo  di¬ 
seño.  Es  así  que  se  admiten  múltiples  combinaciones  po¬ 
sibles,  que  se  potencian  y  pueden  aumentar  la  confiabi¬ 
lidad  y  credibilidad  de  los  resultados. 

En  realidad,  pareciera  que  cada  momento  histórico  en 
la  evolución  de  la  investigación  social  y  la  evaluación  aún 
operara  en  el  presente,  básicamente  como  un  conjunto 
de  prácticas  que  los  evaluadores  toman  o  no  en  función 
de  los  diferentes  intereses  o  propósitos  y  de  las  particu¬ 
lares  situaciones  o  circunstancias. 


¿Evaluación  cuantitativa  o  cualitativa? 

Esa  no  es  la  cuestión 

Una  de  las  críticas  más  severas  a  la  utilización  exclusi¬ 
va  de  enfoques  cuantitativos  es  que  sólo  miran  aquellas 
variables  que  se  pueden  medir  y  así  pierden  de  vista  el 
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“bosque”  al  que  pertenecen  y  que  les  da  sentido.2  Si  bien, 
como  dijimos  anteriormente,  la  discusión  entre  evaluado¬ 
res  parece  estar  superada  y  la  corriente  actual  se  orienta 
hacia  la  legitimación  de  la  diversidad,  el  problema  se 
vuelve  a  suscitar  frente  a  quienes  demandan  las  evaluacio¬ 
nes:  los  gerentes  de  programas  o  proyectos,  los  decisores 
políticos,  los  financiadores;  ellos  siguen  solicitando  a  los 
evaluadores  que  usen  diseños  cuasi  experimentales,  técni¬ 
cas  cuantitativas  “que  muestren  cifras  concretas  y  gráficos 
claros”,  mientras  que  el  análisis  de  la  estructura  del  pro¬ 
grama  o  proyecto,  sus  mecanismos  de  funcionamiento, 
las  opiniones  y  demandas  de  los  beneficiarios  son  toma¬ 
das  con  recelo,  o  incluso  no  tenidas  en  cuenta  como  ha¬ 
llazgos  de  una  evaluación.  Desearían  -y  es  lícito-  tener  en 
muy  pocas  páginas  (dos  o  tres)  y  unos  pocos  cuadros  con 
cifras  muy  resumidas,  el  reflejo  de  los  resultados  de  un 
programa  o  proyecto,  la  visión  de  los  logros,  el  éxito  de  la 
gestión  y  también,  por  qué  no,  los  fracasos  u  obstáculos 
que  signaron  el  desempeño,  pero  raramente  les  interesan 
los  procesos  y  las  explicaciones.  Debemos  reconocer  que 
muy  pocas  veces  los  evaluadores  cumplimos  en  satisfacer 
las  necesidades  de  nuestros  demandantes.  Lejos  de  deses¬ 
timar  sus  pretensiones,  ellos  nos  dan  un  motivo  impor¬ 
tante  para  incluir  en  el  diseño  de  las  evaluaciones  los  en¬ 
foques  cuantitativos  y  cualitativos,  considerando  tanto  los 

2.  Resulta  muy  ilustrativa  al  respecto  una  nota  sin  firma  aparecida  en 
el  diario  Clarín ,  del  30  de  mayo  de  1999,  en  relación  con  la  evaluación  de 
la  calidad  educativa  y  los  consecuentes  rankings  de  las  escuelas.  Dice  un 
subtítulo  de  la  nota:  “Medir  o  evaluar.  [...]  Cuando  se  mide  se  asigna  un 
puntaje  o  valor  en  una  escala;  evaluar  supone  elaborar  un  juicio  acerca  del 
porqué  de  ese  puntaje  [...]  en  general,  las  pruebas  que  toma  la  Nación  po¬ 
nen  más  el  acento  en  medir  que  en  evaluar”. 
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procesos  como  los  resultados,  brindando  indicadores  sin¬ 
téticos  y  numéricos  sobre  resultados,  así  como  explicacio¬ 
nes  que  reflejen  los  procesos. 

La  cuestión  sobre  qué  es  mejor  y  cuándo  usar  métodos 
cualitativos  y  cuándo  cuantitativos,  entendiendo  por  tales 
el  conjunto  de  procedimientos  y  técnicas  para  la  recolec¬ 
ción  de  la  información  y  el  procesamiento  y  análisis  de  los 
datos,  no  pasa  en  realidad  por  la  defensa  de  uno  en  desme¬ 
dro  del  otro:  cada  uno  tiene  sus  potencialidades  y  sus  limi¬ 
taciones  y  éstas  se  abordarán  brevemente  en  el  capítulo  so¬ 
bre  técnicas.  Se  trata  más  bien  de  reflexionar  acerca  de  su 
utilidad  y  de  los  beneficios  y  costos  de  combinarlos  e  inte¬ 
grarlos  en  el  diseño  evaluativo  que  se  plantee.  Sin  preten¬ 
sión  de  agotar  los  argumentos,  podemos  señalar  al  menos 
que  esta  combinación  permite  la  consecución  de  objetivos 
múltiples  atendiendo  tanto  a  los  procesos  como  a  los  resul¬ 
tados  del  programa,  enriquece  los  hallazgos  evaluativos 
profundizando  en  los  motivos  de  las  asociaciones  que  pue¬ 
den  encontrarse  entre  variables  cuantitativas  y  sugiriendo 
hipótesis  para  explicar  la  variabilidad  entre  individuos  o 
grupos,  permite  abordar  la  cuestión  de  las  creencias,  moti¬ 
vaciones  o  actitudes  de  la  población,  difíciles  de  ser  refle¬ 
jadas  cuantitativamente,  dando  vida  a  los  datos.  También 
facilita  la  triangulación  (véase  la  pág.  95)  y  acrecienta  la  co¬ 
municabilidad  de  los  resultados.  Por  otro  lado,  no  puede 
desconocerse  que  esta  combinación  tiene  requerimientos 
en  términos  de  tiempos  y  costos  y,  sobre  todo,  de  habilida¬ 
des  para  el  análisis  que  no  siempre  son  fáciles  de  alcanzar. 
Sin  embargo,  como  veremos  en  los  últimos  capítulos  de 
este  libro,  mediante  un  proceso  de  construcción  participa- 
tiva  del  modelo  de  evaluación,  es  posible  instalar  las  capa¬ 
cidades  necesarias  a  tal  efecto  en  la  organización  ejecutora 
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del  proyecto.  De  todos  modos  es  tarea  de  los  evaluadores 
presentar  diseños  integradores  y  demostrar  la  pertinencia 
de  la  combinación  de  técnicas  cuantitativas  y  cualitativas 
en  un  proceso  evaluativo. 

Al  decir  de  Michael  Patton  (1987): 


El  arte  de  la  evaluación  implica  crear  un  diseño  y  relevar  la  infor¬ 
mación  que  es  apropiada  en  una  determinada  situación  y  en  el 
marco  de  una  política  determinada. 

O  sea  que  no  hay  una  “receta”  que  en  sí  misma  deter¬ 
mine  qué  abordaje  o  qué  método  usar.  Ante  cada  evalua¬ 
ción  se  deberán  tener  en  cuenta  las  demandas  de  quienes 
contratan  la  evaluación,  las  necesidades  de  los  decisores,  las 
de  quienes  financian  el  programa  o  proyecto,  las  de  los  téc¬ 
nicos  que  lo  llevan  adelante  y  las  de  los  beneficiarios,  así 
como  la  propia  visión  del  evaluador  acerca  del  problema  y 
su  experiencia  -preferencia-  en  el  uso  de  determinadas  téc¬ 
nicas.  Así  será  posible  construir  un  diseño  evaluativo  que 
dé  respuesta  apropiada  a  ese  determinado  contexto.  Dicho 
diseño,  por  otra  parte,  seguramente  será  diferente  en  la 
próxima  evaluación  que  asuma  ese  mismo  evaluador. 

Por  lo  tanto,  el  abordaje  metodológico  no  se  limita  a 
una  cuestión  de  métodos. 

Las  metodologías  de  evaluación  constituyen  marcos  de  referen¬ 
cia  coordinados  de  supuestos  filosóficos  (acerca  del  mundo,  la 
naturaleza  humana,  el  conocimiento,  la  ética),  integrados  a  pers¬ 
pectivas  ideológicas  sobre  el  rol  y  propósito  de  la  investigación 
social  en  los  procesos  decisorios  de  programas  y  políticas  socia¬ 
les,  acompañados  por  posturas  valorativas  acerca  de  los  fines  de¬ 
seados  de  los  programas  y  de  la  investigación  y  finalmente  -y  es 
lo  menos-  por  preferencias  acerca  de  métodos  complementarios 
(Greene,  1994:531). 
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De  este  modo  sería  preferible  reservar  los  atributos 
de  cuantitativo  y  cualitativo  para  referirnos  a  diferencias 
entre  técnicas  de  recolección,  métodos  de  análisis  e  ín¬ 
dole  de  los  datos3  que  se  obtienen,  más  que  a  distintas 
formas  de  abordajes  evaluativos.  También  sería  conve¬ 
niente  utilizar,  como  Patton,  el  término  “estrategia”  pa¬ 
ra  aludir  a  la  naturaleza  de  los  métodos  y  las  técnicas  a 
utilizar.  En  su  forma  ideal  una  estrategia  cuantitativa  se¬ 
ría  aquella  que  apunte  a  obtener  datos  numéricos  sus¬ 
ceptibles  de  ser  sometidos  a  análisis  estadístico  y  una  es¬ 
trategia  cualitativa  sería  aquella  que  recurra  fundamen¬ 
talmente  a  otro  tipo  de  técnicas  de  recolección4  (como  la 
observación  en  terreno,  el  análisis  de  documentación,  las 
entrevistas  en  profundidad  y,  en  general,  todo  tipo  de 
técnicas  participativas),  dando  lugar  a  información  sus¬ 
ceptible  de  análisis  de  contenido  o  histórico,  o  de  casos). 
Las  estrategias  mixtas  serían  aquellas  que  utilizan  com¬ 
binaciones  de  ambos  grupos  de  técnicas  y  métodos  en 
una  misma  evaluación. 

En  el  sentido  amplio  que  se  ha  dado  al  término  “abor¬ 
daje  evaluativo”,  nuestro  énfasis,  como  se  verá  más  ade¬ 
lante,  es  acorde  con  la  concepción  de  evaluación  que  he¬ 
mos  presentado  en  el  primer  capítulo:  apunta  a  acompa¬ 
ñar  el  proceso  de  gestión  en  todas  sus  etapas,  contribu- 


3 .  Si  consideramos,  como  Galtung,  que  un  dato  es  la  forma  de  regis¬ 
trar  una  respuesta,  el  dato  será  cuantitativo  o  cualitativo  según  cómo  se  la 
registre.  Así,  una  opinión  (respuesta)  se  convierte  en  un  dato  cuantitativo 
si  se  la  registra  sobre  la  base  de  categorías  preestablecidas  para  luego  esta¬ 
blecer  frecuencias,  y  es  un  dato  cualitativo  si  se  la  registra  en  su  expresión 
textual.  Así,  un  mismo  instrumento  (por  ejemplo,  un  cuestionario  con  pre¬ 
guntas  abiertas  y  cerradas)  puede  recoger  datos  cuantitativos  y  cualitativos. 

4.  Véase  el  capítulo  4  de  este  libro. 
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yendo  al  aprendizaje  institucional  y  a  una  retroalimenta- 
ción  permanente  entre  evaluación  y  programación.  In¬ 
cluye  el  uso  de  una  multiplicidad  de  técnicas,  tanto  cua¬ 
litativas  como  cuantitativas,  predominando  aquellas  que 
permiten  incorporar  la  perspectiva  de  los  actores  involu¬ 
crados  en  los  procesos  de  programación  y  de  ejecución, 
incluyendo  a  los  beneficiarios,  usuarios  o  destinatarios  de 
las  acciones. 

Veremos  en  el  capítulo  5  que  un  paso  crucial  en  la  cons¬ 
trucción  del  modelo  evaluativo,  en  el  sentido  de  diseño 
que  le  damos  en  este  libro,  es  la  elección  de  las  dimensio¬ 
nes  evaluativas,  mientras  que  las  variables,  los  indicadores 
y  las  técnicas  y  los  instrumentos  a  utilizar  son  elementos 
subordinados,  dependientes  de  cuáles  sean  esas  dimensio¬ 
nes.  La  determinación  de  las  dimensiones  del  modelo  es 
una  parte  muy  creativa  del  proceso  evaluativo,  pues  es  lo 
que  divide  conceptualmente  el  todo  que  se  pretende  eva¬ 
luar,  en  una  forma  diferente,  para  encontrar  un  nuevo  sen¬ 
tido  que  posibilite  otra  comprensión  y  permita  la  transfor¬ 
mación  de  la  realidad  considerada;  eso  no  puede  lograrse 
eligiendo  variables  e  indicadores  sino  con  otro  nivel  de 
abstracción,  más  global,  que  abarque  el  todo  mediante  las 
dimensiones  que  lo  integran.  Ya  no  se  trata  sólo  de  acer¬ 
carnos  a  los  fenómenos  con  variables  medibles  o  aprecia¬ 
bles  mediante  indicadores;  se  trata  de  cuál  es  la  concep¬ 
ción  del  todo  en  sus  partes,  para  entonces  interesarnos  por 
cuáles  variables  lo  representan  y  explican.  Diciendo  lo 
mismo  en  otras  palabras:  para  afrontar  una  evaluación  no 
bastará  con  “elegir  los  indicadores  apropiados”,  aunque 
ése  constituya  un  paso  necesario;  se  requerirá  tener  una 
concepción  “teórica”  acerca  del  “objeto  de  la  evaluación” 
y  sobre  la  realidad  donde  éste  se  ubica. 
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Una  cuestión  central:  el  rigor  metodológico 

Es  importante  recordar  aquí  que  el  resultado  de  toda 
evaluación  debería  acrecentar  el  conocimiento  que  se 
tiene  sobre  el  programa  o  proyecto,  sobre  el  problema 
que  dio  origen  a  la  existencia  del  mismo  y  sobre  las  mo¬ 
dalidades  adecuadas  para  la  resolución  de  este  problema. 
Como  hemos  dicho  anteriormente,  la  evaluación  debe 
ser  una  instancia  de  aprendizaje  más  que  de  control.  En 
ese  sentido  podríamos  enfocar  entonces  el  tema  del 
abordaje  evaluativo  alrededor  de  cómo  logramos  cono¬ 
cer  más  y  de  qué  modo  incorporamos  el  saber.  ^ 

Ello  remite  a  la  cuestión  del  rigor  metodológico,  es 
decir,  a  los  parámetros  vigentes  relativos  al  proceso  de 
producción  de  conocimiento  para  que  el  que  se  obtenga 
sea  considerado  científico. 

La  evaluación  fundamenta  sus  juicios  en  el  análisis  de 
un  conjunto  sistemático  de  datos,  los  cuales  no  existen  ni 
surgen  de  forma  natural  o  espontánea.  Primero  hay  que 
poner  en  claro  cuáles  serán  las  dimensiones  o  los  grandes 
aspectos  a  considerar;  luego,  definir  las  variables  y  los  in¬ 
dicadores  correspondientes,  y  sólo  entonces  deben  obte¬ 
nerse  los  datos  pertinentes  usando  determinadas  técnicas 
e  instrumentos.  Para  recoger  evidencia  válida  y  confiable, 
es  muy  importante  la  decisión  de  cuáles  técnicas  e  instru- 


5.  “La  ciencia  no  tiene  que  estar  limitada  forzosamente  a  mediciones 
y  análisis  cuantitativos.  Debemos  considerar  científica  cualquier  manera 
de  abordar  el  conocimiento  siempre  que  satisfaga  dos  condiciones:  que  el 
conocimiento  se  base  completamente  en  observaciones  sistemáticas  y  que 
se  exprese  desde  el  punto  de  vista  de  modelos  coherentes,  aunque  sean  li¬ 
mitados  y  aproximativos”  (Martínez  Miguelez,  1993:178). 
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mentos  se  utilizarán  en  función  de  las  respectivas  variables 
e  indicadores  seleccionados.  Se  requiere  utilizar  técnicas  e 
instrumentos  adecuados  y  a  la  vez  poner  sumo  cuidado  en 
los  procesos  de  aplicación,  de  modo  que  la  información 
tenga  validez  interna  y  externa ,6  o  sea  que  se  refiera  a  las  di¬ 
mensiones  y  variables  que  nos  interesan  y  no  a  otras,  que 
midan  aquello  que  procuran  medir  en  el  caso  de  cuantifi- 
caciones,  y  que  permitan  apreciar  y  emitir  juicios  funda¬ 
mentados  sobre  aquello  que  se  procura  comprender  o  ex¬ 
plicar  en  el  caso  de  cualificaciones.  Se  requiere  precisión  en 
los  instrumentos,  es  decir  que  deben  estar  diseñados  de 
forma  tal  que  pueda  asegurarse  que  se  refieran  a  lo  que 
importa  que  se  refieran,  dejando  de  lado  lo  no  relevante. 
Se  requiere  asimismo  que  el  instrumento  sea  suficiente¬ 
mente  confiable,  es  decir  que  tenga  la  capacidad  de  ofrecer 
resultados  similares  o  comparables  al  ser  aplicado  reitera¬ 
das  veces  y  por  diferentes  evaluadores.  Sin  duda  que  para 
asegurar  todo  eso  deben  pautarse  procedimientos  ajusta¬ 
dos  en  los  diseños  así  como  en  las  aplicaciones.  Surge  en¬ 
tonces  la  necesidad  de  capacitar  y  adiestrar  a  los  actores 
que  intervendrán  en  las  etapas  de  diseño  y  que  aplicarán 
los  procedimientos  e  instrumentos  evaluativos. 

Sin  embargo,  el  rigor  no  tiene  que  ver  exclusivamen¬ 
te  con  la  pertinencia  del  uso  de  determinada  técnica  pa¬ 
ra  apreciar  o  medir  determinado  fenómeno  ni  con  el  gra¬ 
do  de  confiabilidad  y  precisión  de  los  datos  obtenidos. 


6  “La  diferencia  principal  entre  validez  interna  y  externa  es  que  la 
primera  expresa  una  relación  lógica,  mientras  que  la  segunda  expresa  una 
relación  empírica;  la  validez  externa  consiste  en  poner  a  prueba  una  hipó¬ 
tesis”  (Zetterberg,  1965).  En  la  primera  se  trata  de  coherencia  y  en  la  se¬ 
gunda  se  trata  de  la  posibilidad  de  extrapolar  o  generalizar. 
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Por  un  lado,  el  rigor  metodológico  en  la  evaluación 
de  un  programa  o  proyecto  va  más  allá  de  la  decisión 
acerca  de  las  técnicas  y  los  instrumentos  a  usar:  importa 
desde  la  propia  identificación  del  problema  que  se  abor¬ 
dará,  de  la  adecuada  determinación  de  los  principales 
ejes  o  dimensiones  que  lo  componen,  de  la  selección  de 
las  variables  relevantes  en  el  marco  de  cada  dimensión  y 
de  los  indicadores  apropiados  para  reflejar  las  variables 
elegidas;  ese  rigor  en  la  etapa  de  la  formulación  deberá 
luego  ser  reforzado  en  los  pasos  de  la  aplicación,  con 
procedimientos  apropiados  y  lo  más  estandarizados  que 
sea  posible,  lo  cual  supone  actividades  concretas  de  nive¬ 
lación  y  homogeneización  de  los  equipos  evaluativos,  so¬ 
bre  todo  de  los  que  intervienen  en  el  trabajo  de  campo. 
Además,  deberá  mantenerse  el  rigor  en  el  momento  de 
procesar,  sistematizar  y  analizar  la  información  obtenida, 
así  como  en  la  preparación  de  los  informes  para  la  devo¬ 
lución  de  los  resultados. 

Por  otro  lado,  uno  de  los  aspectos  positivos  que  intro¬ 
dujo  la  discusión  entre  métodos  cuantitativos  y  cualitati¬ 
vos  ha  sido  la  resignificación  de  las  cuestiones  de  la  vali¬ 
dez  y  confiabilidad,  asociando  éstas  a  los  instrumentos 
utilizados  y  agregando  la  consideración  de  otros  aspectos 
vinculados  a  los  valores  de  los  investigadores/evaluado- 
res  y  de  los  “investigados”,  incluyendo  así  el  contexto  de 
producción  del  conocimiento,  y  la  ética.  En  síntesis,  se 
han  sometido  a  revisión  los  criterios  tradicionales  de  ri¬ 
gor  y  se  están  incorporando  otros. 

Es  necesario  comprender  que  los  métodos  cualitati¬ 
vos  pueden  asegurar  el  rigor  aunque  de  modo  diferente 
del  de  los  métodos  cuantitativos.  La  explicitación  de  los 
criterios  de  selección  de  participantes  e  informantes  (más 
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que  la  búsqueda  de  representatividad  estadística),  la  ex- 
plicitación  de  los  valores  e  intereses  del  evaluador  y  del 
modo  en  que  el  contexto  incide  en  ellos,  la  socialización 
del  proceso  de  análisis  e  interpretación,  constituyen  for¬ 
mas  de  asegurar  el  rigor.  El  consentimiento  informado  (la 
aceptación  de  la  gente  a  responder  o  participar  de  una 
investigación  o  evaluación  y  además  la  transparencia  en 
cuanto  a  los  procedimientos  y  los  derechos  y  deberes  de 
todos  los  que  se  involucran  en  el  proceso),  el  anonimato 
(más  que  la  confidencialidad)  y  el  cuidado  en  minimizar 
las  asimetrías  en  la  relación  entre  evaluador  y  otros  acto¬ 
res,  son  formas  de  introducir  la  ética  en  los  procesos  de 
producción  de  información. 

Cualesquiera  que  sean  los  métodos  que  se  utilicen,  los 
evaluadores  son  actores  privilegiados,  y  por  lo  tanto  la 
validez,  la  precisión  y  la  confiabilidad  de  los  datos  dependen 
en  gran  medida  de  su  capacidad,  sensibilidad  e  integri¬ 
dad,  lo  cual  nos  lleva  a  la  cuestión  de  la  subjetividad  en  el 
proceso  evaluativo. 

Más  adelante  proponemos  que  la  corrección  de  la 
subjetividad  individual  -que  produce  distintas  aprecia¬ 
ciones  sobre  los  mismos  eventos-  se  encuentra  en  la  “in¬ 
tersubjetividad”,  7  lograda  mediante  la  incorporación  de 
los  diferentes  actores  en  distintos  momentos  del  proceso 
evaluativo  -multiactoralidad-,  lo  cual  genera  espacios  de 


7.  Habermas  (1982)  menciona  procedimientos  de  “creación  de  cam¬ 
pos  epistemológicos  de  intersubjetividad”,  contraponiendo  este  tipo  de 
generación  de  conocimiento  al  que  se  realiza  de  forma  aislada  o  indivi¬ 
dual  y  que  corre  el  riesgo  de  la  subjetividad  individual,  no  sometida  a  crí¬ 
tica.  El,  como  otros  muchos  autores,  sostiene  que  la  ciencia,  aun  en  el 
enfoque  positivista,  carece  de  objetividad  absoluta,  lo  cual  no  impide 
procurar  el  rigor. 
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confrontación  y  reflexión  conjuntas,  para  permitir  acuer¬ 
dos  o  consensos  sobre  distintos  aspectos  y,  en  particular, 
sobre  los  juicios  valorativos  fundamentados. 

Por  otra  parte,  si  consideramos  la  evaluación  como  la 
aplicación  de  ciencia  y  conocimiento  para  valorar  la  cali¬ 
dad  de  determinado  programa  o  proyecto,  los  aportes  de 
diferentes  disciplinas  en  el  proceso  evaluativo  incremen¬ 
tan  su  poder  explicativo  y  resolutivo,  por  lo  cual  es  rele¬ 
vante  la  conformación  de  equipos  evaluativos  multidisci- 
plinarios. 

Una  estrategia  actualmente  muy  difundida  para  ase¬ 
gurar  el  rigor  y  corregir  la  subjetividad  es  la  triangula¬ 
ción .8  Ello  supone  la  utilización  de  diferentes  técnicas  y 
fuentes  para  evaluar  los  mismos  fenómenos  o  aspectos  de 
la  realidad  a  través  de  operaciones  convergentes,  en  el 
sentido  de  síntesis  y  complementación  metodológica. 
También  se  habla  de  triangulación  cuando  la  evaluación 
es  realizada  por  un  grupo  en  el  que  “se  cruzan”  los  crite¬ 
rios  y  puntos  de  vista  de  cada  uno  de  los  evaluadores. 
Con  ello  se  procura  mayor  confiabilidad  de  la  información 
obtenida,  mayor  entendimiento  de  los  fenómenos  bajo  es¬ 
tudio,  reducción  de  sesgos  propios  de  cada  técnica,  fíente  y  pro¬ 
fesional,  y  la  validación  de  las  apreciaciones  evaluativas. 

En  síntesis,  entendemos  que  el  rigor  no  se  limita  a  la 
elección  de  las  técnicas  o  a  determinar  los  pesos  relativos 


8.  La  metáfora  de  la  triangulación  se  deriva  del  uso  -con  fines  milita¬ 
res  o  de  navegación-  de  múltiples  puntos  de  referencia  para  identificar  con 
mayor  precisión  la  posición  de  un  objeto  alejado.  En  las  ciencias  sociales 
se  intenta  algo  similar:  mejorar  la  exactitud  o  precisión  de  los  juicios  y  au¬ 
mentar  la  confiabilidad  de  los  resultados  a  través  de  la  recolección  de  da¬ 
tos  sobre  el  mismo  fenómeno,  desde  diferentes  perspectivas  o  técnicas. 
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de  los  métodos  cualitativos  y  cuantitativos,  sino  que  de¬ 
pende  más  de  la  calidad  de  las  decisiones  y  conductas  que 
los  investigadores/evaluadores  adoptan  a  lo  largo  de  los 
diferentes  momentos  por  los  que  se  atraviesa  en  el  pro¬ 
ceso  de  investigar  o  de  evaluar.  Es  así  que  las  decisiones 
y  el  rigor  que  se  aplique  en  los  momentos  de: 

•  definición  del  problema  a  evaluar, 

•  elección  y  explicitación  del  marco  conceptual, 

•  generación  de  hipótesis, 

•  selección  de  técnicas, 

•  trabajo  de  campo, 

•  procesamiento,  análisis  e  interpretación  de  los  datos  y 
resultados  obtenidos, 

influirán  en  la  validez  de  los  juicios  apreciativos  para  co¬ 
rroborar,  precisar  o  rechazar  las  hipótesis  explicativas/ e- 
valuativas,  en  la  comprensión  del  objeto  de  estudio  y,  en 
definitiva,  en  las  posibilidades  de  intervenciones  adecua¬ 
das  que  permitan  transformar  la  situación  evaluada. 


Actores  y  audiencias 

Si  aceptamos  que  los  programas  y  proyectos  sociales 
son  el  resultado  de  un  conjunto  de  decisiones,  podemos 
también  aceptar  que  la  evaluación  de  programas  está 
atravesada  por  decisiones  políticas  en  términos  de  defi¬ 
nición  de  prioridades  sociales,  distribución  de  recursos 
y,  en  última  instancia,  de  poder.  Es  en  esta  línea  de  pen¬ 
samiento  que  las  preguntas  evaluativas  sobre  la  impor¬ 
tancia  de  un  programa  o  proyecto,  su  significado,  el  de 
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sus  logros  y  de  la  efectividad  alcanzada,  reflejan  un  pro¬ 
ceso  de  toma  de  decisiones  y  establecimiento  de  priori¬ 
dades.  También  los  resultados  evaluativos  forman  parte 
de  definiciones  técnico-políticas  y  no  son  simples  de¬ 
ducciones  o  conclusiones  abstractas,  descontextualiza- 
das  de  la  realidad  en  la  que  el  programa  o  proyecto  se 
desarrolla. 

El  equipo  evaluador  describe,  infiere  y  transmite  un 
conocimiento  práctico  adaptado  a  cada  situación.  Pero, 
ante  todo,  su  tarea  es  valorar  y,  hasta  la  selección  de  es¬ 
tándares  o  parámetros  que  se  usarán  para  contrastar,  es¬ 
tará  determinada  por  un  contexto.  De  ese  contexto  par¬ 
ticipa  una  variedad  de  actores  con  diferentes  intereses  y 
perspectivas  acerca  del  programa. 

\ 

Lo  que  diferencia  un  abordaje  evalúa tivo  de  otro  no  son  los  mé¬ 
todos  sino  más  bien  las  preguntas,  quiénes  plantean  esas  pregun¬ 
tas  y  qué  valores  se  promueven  (Greene,  1994:533). 

Nosotros  agregamos  a  eso  la  relevancia  que  tiene  la 
determinación  de  las  dimensiones  de  la  evaluación,  es 
decir,  cuáles  ejes  conceptuales  serán  los  que  estructura¬ 
rán  el  modelo  a  utilizar,  pues  son  tales  dimensiones  las 
que  definen  la  “teoría”  subyacente  del  programa  o  pro¬ 
yecto  a  evaluar. 

Los  actores  participantes  en  el  diseño  de  una  evalua¬ 
ción  y  el  rol  que  desempeñan  en  la  determinación  de  tales 
dimensiones  y  la  formulación  de  las  principales  preguntas 
evaluativas  es  lo  que  influirá  en  las  distintas  formas  de 
abordar  la  evaluación  de  un  proyecto. 

El  primer  paso  de  cualquier  evaluación  estará  dado 
por  una  “negociación  inicial”  en  la  que  el  evaluador 
acordará  sus  límites  y  alcances  con  los  decisores  políticos 
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o  responsables  máximos  del  programa  o  proyecto  y  con 
los  representantes  de  los  entes  financiadores  (en  el  caso 
de  que  puedan  distinguirse)  teniendo  en  cuenta  diversos 
factores,  en  particular  los  fondos  que  se  le  asignen.  Son 
estos  actores  los  que  determinarán  el  contexto  específico 
en  el  que  comienza  el  proceso  evaluativo. 

A  partir  de  allí,  el  carácter  del  abordaje  metodológico 
lo  da  en  primera  instancia  el  punto  de  vista  del  evalua¬ 
dor,9  cuyo  rol  como  actor  es  relevante.  Son  importantes 
en  ese  sentido  su  ubicación,  su  concepción,  su  origen  y 
trayectoria  disciplinaria,  sus  vinculaciones  con  otros  ac¬ 
tores,  etc.  Cada  evaluador,  de  acuerdo  con  su  particular 
cosmovisión,  ubicación,  actitudes,  experiencia  e  intere¬ 
ses,  releva  aquellos  aspectos  que  considera  significativos 
y  frente  a  los  cuales  está  sensibilizado.  Como  vimos,  eso 
introduce  la  cuestión  de  la  subjetividad  en  el  proceso 
evaluativo,  sobre  todo  en  el  caso  de  que  se  trate  de  un 
evaluador  individual  y  no  de  un  equipo.  Esta  considera¬ 
ción  de  la  carga  ideológica  que  el  evaluador  trae  consigo 
está  bastante  alejada  del  paradigma  clásico  que  apela  al 
supuesto  de  la  objetividad  y  la  neutralidad  valorativa  del 
investigador,  evaluador  u  observador,  como  alguien  si¬ 
tuado  afuera  del  fenómeno  o  realidad  en  estudio,  no 
“contaminado”  por  esa  realidad.  Ya  tales  cuestiones  no 
son  materia  de  discusión  seria  en  la  filosofía  de  las  cien¬ 
cias,  puesto  que  en  las  propias  ciencias  físicas  y  naturales 

9.  Cuando  se  menciona  al  “evaluador”  deberá  tenerse  en  cuenta  que 
éste  puede  ser  un  individuo  o  bien  tratarse  de  un  equipo,  en  cuyo  caso  in¬ 
teresarán  los  factores  mencionados  para  cada  uno  de  sus  miembros,  así 
como  las  características  multiprofesionales  y  multiactorales  del  grupo  y 
sus  modalidades  de  funcionamiento. 
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se  reconoce  la  influencia  del  observador  en  el  campo  de 
experimentación  y  viceversa. 

Sin  embargo,  aún  subsisten  formas  de  encarar  los 
procesos  evaluativos  vinculadas  a  las  modalidades  tradi¬ 
cionales  de  evaluación,  que  ponen  el  énfasis  en  la  supues¬ 
ta  objetividad  científica,  sobre  cuya  base  el  evaluador 
“llega”  al  proyecto  con  un  modelo  predeterminado,  rele¬ 
va  la  información  que  le  interesa,  “se  va”  para  analizar  los 
resultados  y  presentar  sus  conclusiones,  manteniéndose 
en  todo  momento  “asépticamente”  fuera  del  programa. 
Sin  ir  tan  lejos,  está  el  evaluador  que,  si  bien  se  involucra 
activamente  en  el  funcionamiento  del  proyecto  o  progra¬ 
ma,  intentando  entender  su  dinámica,  elabora  aislada¬ 
mente  tanto  su  modelo  como  sus  instrumentos  de  reco¬ 
lección  y  sus  conclusiones,  es  decir,  se  reserva  el  rol  de  la 
evaluación  exclusivamente  para  sí,  ya  que  es  el  “experto”. 

Otra  posibilidad,  a  la  que  adherimos  y  que  estaría  vin¬ 
culada  a  la  aceptación  de  la  subjetividad  intrínseca  de  los 
actores  participantes,  se  encuentra  en  la  construcción  de 
espacios  y  momentos  de  “intersubjetividad”  mediante  la 
participación  de  los  distintos  actores  comprometidos  con 
el  programa  o  proyecto  objeto  de  análisis,  en  todas  las 
etapas  de  la  evaluación.  Es  en  ese  sentido  que  se  hablaba 
anteriormente  de  la  evaluación  multiactoral  y  multidisci¬ 
plinar. 

Consideramos  que  la  forma  de  compensar  el  peso  del 
equipo  evaluador  y  sus  puntos  de  vista  (por  más  multidis¬ 
ciplinar  que  sea),  y  a  la  vez  hacer  viable  la  aplicación  de 
los  procesos  evaluativos  para  luego  lograr  la  aceptación  y 
la  apropiación  de  los  resultados  y  recomendaciones  por 
parte  de  los  miembros  del  programa  o  proyecto,  es  jus¬ 
tamente  a  través  del  involucramiento  en  el  proceso  eva- 
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luativo  de  todos  los  actores  intervinientes  y  significati¬ 
vos.  Todos  ellos  deben  tener  posibilidades  reales  de  in¬ 
tervenir  en  las  decisiones  relativas  a  qué  dimensiones  y 
variables  tener  en  cuenta,  cuáles  indicadores  son  los  más 
relevantes,  qué  técnicas  e  instrumentos  de  recolección 
utilizar,  así  como  en  la  implementación  de  la  evaluación, 
en  sus  correcciones  y  cambios,  en  el  análisis  y  seguimien¬ 
to  de  sus  resultados,  en  las  conclusiones  extraídas  de  ellos 
y  en  formular  (o  corregir)  las  recomendaciones. 

Es  importante,  entonces,  realizar  un  exhaustivo  rele- 
vamiento  de  quiénes  son  los  actores  clave  en  la  toma  de 
decisiones  y  en  la  ejecución  del  programa/proyecto,  para 
incluirlos  desde  el  inicio  en  el  proceso  de  la  evaluación. 

En  las  temáticas  sociales,  los  usuarios,  destinatarios  o 
beneficiarios,  así  como  la  comunidad  en  general,  son  ac¬ 
tores  de  ineludible  consideración  en  el  proceso  evaluativo. 

En  términos  generales  podemos  distinguir  al  menos 
cuatro  tipos  de  actores,  que  en  principio  deberían  ser  te¬ 
nidos  en  cuenta,  aunque  en  cada  caso  se  deberá  proceder 
a  identificar  y  caracterizar  a  los  que  sean  relevantes  para 
cada  proyecto  o  programa. 

•  Los  funcionarios  de  las  agencias  financiadoras. 

•  Los  responsables  de  la  conducción  político-técnica. 

•  El  personal  profesional  y  administrativo  que  lleva 
adelante  la  ejecución. 

•  Los  miembros  de  las  organizaciones  intervinientes. 

•  La  población  objetivo,  beneficiaría  o  usuaria. 

Si  bien  el  rol  del  evaluador  sigue  siendo  clave,  sólo  a 
partir  del  trabajo  mancomunado  con  los  distintos  actores 
nos  parece  posible  llevar  adelante  una  evaluación  que  lo¬ 
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gre  superar  los  temores,  las  desconfianzas  y  las  barreras 
que  normalmente  surgen  en  la  organización  o  en  el  equi¬ 
po  del  programa/proyecto  que  se  pretende  evaluar  ante 
el  hecho  concreto  de  “sentirse  evaluados”.  Además,  co¬ 
mo  ya  se  ha  visto  en  el  capítulo  anterior,  los  miembros  de 
esos  equipos  están  involucrados  en  distintos  aspectos  de 
la  marcha  y  es  natural  que  se  resistan  a  aceptar  cambios 
aun  cuando  surjan  de  las  recomendaciones  de  evaluacio¬ 
nes  rigurosas. 


La  evaluación  y  la  organización  pueden  ser  términos  contradicto¬ 
rios.  La  estructura  de  la  organización  implica  estabilidad,  en  tan¬ 
to  que  el  proceso  de  evaluación  inculca  el  escepticismo.  La  eva¬ 
luación  se  refiere  a  la  relación  entre  la  acción  y  los  objetivos,  en 
tanto  que  la  organización  relaciona  sus  actividades  con  su  progra¬ 
ma  y  clientela  (Wildavsky,  1972). 

Por  lo  tanto,  en  la  fase  inicial  será  imprescindible  el 
esfuerzo  del  equipo  evaluador  por  conocer  a  los  actores 
con  quienes  interactuará,  así  como  su  historia  en  tanto 
individuos  y  como  miembros  de  un  grupo  u  organiza¬ 
ción.  También  será  fundamental  el  desarrollo  de  capaci¬ 
dades  y  habilidades  específicas  en  los  participantes,  a 
través  de  la  capacitación,  el  entrenamiento,  el  asesora- 
miento  y  la  asistencia  técnica,  para  facilitar  la  mirada 
evaluativa  y  el  conocimiento  del  proyecto  o  programa 
desde  esta  perspectiva. 

Podemos  decir,  en  el  sentido  que  venimos  desplegan¬ 
do,  que  el  rol  del  evaluador  no  es  solamente  generar  ca¬ 
pacidades  en  los  actores  del  programa  o  proyecto  para 
facilitar  la  instalación  de  una  “cultura  organizacional 
evaluativa”  sino  que,  simultáneamente,  irá  aprendiendo  e 
incorporando  la  información  necesaria  para  la  construc- 
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ción  del  modelo  evaluativo.  Para  que  refleje  lo  más  aca¬ 
badamente  posible  las  necesidades  y  los  requerimientos 
de  los  actores  y  del  programa  o  proyecto,  el  evaluador 
desarrollará  las  grandes  líneas,  conceptualizará  las  di¬ 
mensiones  de  la  evaluación  y  sus  principales  aspectos, 
pero  dará  intervención  a  los  actores  en  el  diseño  especí¬ 
fico  de  dichas  dimensiones.  Pondrá  sus  habilidades  me¬ 
todológicas  al  servicio  del  conocimiento  que  los  actores 
tienen  del  lugar  y  la  realidad  donde  se  desempeñan.  En 
un  proceso  así  encarado,  los  distintos  actores  expresarán 
los  diferentes  objetivos  y  metas  que  cada  uno  persigue 
con  la  evaluación,  quedando  explicitados  sus  propios 
puntos  de  vista. 

Por  ejemplo,  en  un  proyecto  que  evalúa  la  calidad  de 
la  atención  en  los  servicios  de  salud,  los  profesionales 
asistenciales  suelen  poner  el  énfasis  en  los  aspectos  cien¬ 
tífico-técnicos  de  la  atención,  y  consideran  el  acto  médi¬ 
co  en  relación  con  cada  paciente;  paralelamente  suelen 
dejar  de  lado  los  aspectos  de  eficiencia  (o  de  costos  de  la 
atención).  Asimismo,  serán  heterogéneos  dichos  énfasis 
según  las  disciplinas  y  especializaciones  profesionales. 

En  cambio,  los  gerentes  o  funcionarios  de  los  niveles 
de  conducción  de  los  sistemas  de  salud  enfatizan  los  as¬ 
pectos  de  resultados  a  niveles  poblacionales  y  la  eficien¬ 
cia,  o  sea,  la  relación  de  esos  resultados  con  los  costos  (la¬ 
mentablemente,  a  veces  sólo  consideran  importantes  los 
costos,  o  tan  sólo  los  gastos). 

Por  su  parte,  los  usuarios  de  los  servicios  hacen  hin¬ 
capié  en  los  aspectos  de  trato  interpersonal,  de  accesibi¬ 
lidad  y  de  resultados  concretos  en  la  mejoría  del  estado 
de  salud  y  bienestar  a  corto  plazo  (lo  cual  no  es  estricta¬ 
mente  lo  mismo  que  enfatizar  en  aspectos  científico-téc- 
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nicos),  pero  casi  no  consideran  los  aspectos  de  costos  o 
eficiencia  (aunque  sí  los  de  gastos  en  el  caso  de  que  ten¬ 
gan  que  realizarlos  de  su  bolsillo).  También  debe  tenerse 
en  cuenta  que  habrá  heterogeneidades  en  las  expectativas 
(y,  por  ende,  en  la  satisfacción/aceptabilidad),  de  acuerdo 
con  las  características  culturales  y  socioeconómicas  -los 
estratos  de  pertenencia-  de  los  usuarios. 

Todos  deben  ser  incluidos  en  el  proceso  evaluativo. 
Cada  uno  de  esos  actores  procurará  orientar  la  evaluación 
hacia  los  aspectos  que  considera  relevantes;  la  síntesis  a  la 
que  pueda  arribarse  a  partir  de  las  instancias  de  confron¬ 
taciones  y  de  consenso10  otorgará  mayor  riqueza  a  la  eva¬ 
luación  y  colaborará  en  el  uso  posterior  de  sus  hallazgos 
para  la  mejora  del  desempeño  del  proyecto/programa. 

En  resumen:  la  especificidad  y  la  parte  noble  de  la 
tarea  que  recae  en  el  evaluador  es  la  de  aportar  su  expe¬ 
riencia  metodológica  a  los  demás  actores,  a  la  vez  que 
realizar  una  síntesis  superadora  y  creativa  a  partir  de  lo 
que  ellos  brindan. 

Por  otra  parte,  es  necesario  diferenciar  a  los  actores 
participantes  en  la  evaluación  de  las  audiencias  interesa¬ 
das  en  sus  resultados.  Algunos  coincidirán,  pero  ello  no 
es  así  necesariamente.  El  modo  de  preparar  los  informes, 
organizar  las  presentaciones  de  los  resultados  y  las  for¬ 
mas  de  difusión  de  las  conclusiones  e  incluso  de  especifi¬ 
car  recomendaciones,  seguramente  deberá  realizarse  di¬ 
ferenciando  y  enfatizando  distintos  aspectos,  puesto  que 


10.  En  el  capítulo  sobre  técnicas  se  sintetizan  algunas  formas  para 
efectuar  confrontaciones  y  arribar  a  consensos,  pero  deberá  profundizar¬ 
se  con  técnicas  específicas  de  dinámicas  grupales  y  de  negociación,  entre 
otras. 
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las  inquietudes  y  preocupaciones  de  cada  tipo  de  audien¬ 
cia  son  distintas.  Es  relevante  reconocer  esa  diversidad 
de  intereses  por  parte  de  las  audiencias,  pues  ello  incidi¬ 
rá  también  en  su  aceptación  de  los  resultados  evaluativos 
y  las  recomendaciones. 

Sin  duda,  los  actores  que  se  involucraron  en  los  pro¬ 
cesos  evaluativos  serán  audiencias  ineludibles,  a  las  que 
habrá  que  efectuar  “devolución”  de  los  resultados  para 
que  puedan  tener  “derecho  £  réplica”,  es  decir,  a  modifi¬ 
car  las  conclusiones  y  recomendaciones  así  como  las  fun- 
damentaciones.  Pero  las  audiencias  son  más  amplias,  por 
ejemplo: 

•  los  pobladores  o  actores  de  la  comunidad  no  directa¬ 
mente  afectados  por  la  implementación  del  proyecto 
o  programa; 

•  las  autoridades  políticas  inmediatas  y  mediatas; 

•  los  responsables  de  programas  similares  en  el  mismo 
o  en  otros  contextos; 

•  los  funcionarios  de  la  agencia  que  financia  el  progra¬ 
ma  (en  los  casos  de  que  se  trate  de  un  programa  sub¬ 
sidiado  u  apoyado  por  una  agencia); 

•  la  comunidad  académica. 

No  deberán  descuidarse  los  procesos  de  socialización 
de  los  hallazgos  de  la  evaluación,  particularizando  según 
las  diferentes  expectativas  e  intereses  de  las  audiencias. 
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Dos  sacerdotes  discutían  si  estaba  bien  o  no  fumar  mien¬ 
tras  rezaba n.  Ambos  esgrimían  todo  tipo  de  argumentos 
en  defensa  de  su  postura ,  sin  llegar  a  un  acuerdo.  Deci¬ 
dieron  consultar  al  superior  del  convento ,  cada  uno  por  su 
lado.  Cuando  se  volvieron  a  encontrar,  el  sacerdote  a  fa¬ 
vor  de  fumar  dijo:  “Mi  superior  dijo  que  estaba  muy  bien 
fumar ”  “¿Cómo  puede  ser?  -dijo  el  otro-  ...  a  mí  me  di¬ 
jo  enfáticamente  que  estaba  mal;  ¿qué  le  preguntaste ?” 
“Pregunté  si  estaba  bien  fumar  mientras  rezaba  “Eso 
lo  explica ,  yo  pregunté  si  estaba  bien  rezar  mientras  fu¬ 
maba...  ” 

Autor  anónimo 


Acercándonos  a  las  técnicas 

Como  ya  dijimos,  el  proceso  evaluativo  supone  la 
emisión  de  juicios  valorativos  fundamentados  y  comuni¬ 
cables,  a  partir  del  análisis  de  información  relevante.  Pa¬ 
ra  obtener  y  analizar  la  información  requerida  deben  en¬ 
tonces  adoptarse  encuadres  metodológicos  rigurosos  y 
aplicarse  técnicas  apropiadas. 

Ya  discutimos  cómo  en  el  campo  de  las  ciencias  socia¬ 
les  y  en  particular  en  la  investigación  existen  polémicas 
referidas  a  los  abordajes  metodológicos  y  cómo  esa  dis¬ 
puta  metodológica  es  finalmente  un  choque  básico  entre 
distintos  paradigmas  epistemológicos. 

Frente  a  esas  polémicas  en  cuanto  a  las  formas  de  ob¬ 
tener,  sistematizar  y  procesar  información  para  llegar  a 
emitir  juicios  valorativos  y  poder  fundamentarlos,  ya 
mencionamos  en  el  capítulo  anterior  la  conveniencia  de 
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aplicar  metodologías  cuantitativas  y  cualitativas  conjun¬ 
tamente.  Las  dos  tienen  sus  puntos  fuertes  y  sus  debili¬ 
dades.  Las  técnicas  cualitativas  permiten  al  evaluador 
estudiar  casos,  hechos  y  temas  en  profundidad  y  detalle. 
Su  riqueza  consiste  en  que  los  hallazgos  obtenidos  abar¬ 
can  grupos  pequeños  de  casos  y/o  personas,  que  si  bien 
pueden  no  siempre  generalizarse  a  universos  mayores, 
sin  duda  permiten  elaborar  hipótesis  que  luego  podrán 
confirmarse  aplicando  otros  métodos.  Por  su  parte,  las 
técnicas  cuantitativas  usan  parámetros  previamente  es¬ 
tandarizados  que  miden  las  reacciones,  percepciones  y 
opiniones  de  cantidades  mayores  de  gente,  facilitando 
comparaciones  y  agregaciones  estadísticas  de  las  res¬ 
puestas  obtenidas.  Esto  permite,  en  la  mayoría  de  los 
casos,  hacer  generalizaciones  bastante  confiables  de  los 
hallazgos,  abarcando  así  universos  mayores  que  los  real¬ 
mente  estudiados. 

Más  allá  de  cuáles  sean,  es  importante  que  las  téc¬ 
nicas  que  se  utilicen  permitan  que  la  información  que 
se  obtenga  de  su  aplicación  sea  confiable,  de  utilidad 
y  segura1  para  brindar  razonabilidad  e  imparcialidad 
en  las  inferencias  que  se  realicen  basadas  en  los  datos 
recogidos. 

También  anticipamos  que  en  la  decisión  de  cuáles 
técnicas  utilizar,  va  a  ser  importante  el  punto  de  vista  de 
los  evaluadores,  las  dimensiones  y  variables  que  previa¬ 
mente  se  hayan  definido  para  evaluar  el  programa  o 

1.  El  tema  del  rigor  metodológico  y,  por  ende,  las  características  de  la 
información  que  se  releva  con  fines  evaluativos  ya  fueron  comentados  en 
el  capítulo  3 . 
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proyecto  y  el  tipo  de  información  que  se  requiera  obte¬ 
ner  o  analizar.  Reiteramos  la  importancia  de  la  triangu¬ 
lación,  es  decir,  de  utilizar  varias  técnicas  que  permitan 
tener  diferentes  puntos  de  vista  y  corroborar  informa¬ 
ción  recogida  por  otras  vías  para  los  distintos  indi¬ 
cadores  y  variables. 

En  este  capítulo  describiremos  sintéticamente  las  téc¬ 
nicas  que  se  podrían  aplicar  según  las  características  y  los 
requerimientos  metodológicos  correspondientes  a  cada 
objeto  de  evaluación.  Sin  lugar  a  dudas  existen  más  téc¬ 
nicas  que  las  que  aquí  se  mencionan.  El  criterio  utilizado 
en  esta  selección  privilegió  que  estén  ampliamente  di¬ 
fundidas  en  el  campo  social,  o  bien  que  sean  innovadoras 
y  hayan  demostrado  utilidad  en  experiencias  concretas, 
que  sean  de  sencilla  aplicación  y  puedan  complementar¬ 
se  fácilmente. 

Es  oportuno  aclarar  que  muchas  de  esas  técnicas,  que 
se  utilizan  en  evaluación,  no  son  exclusivamente  destina¬ 
das  a  esos  fines  sino  que  son  usadas  también  en  investi¬ 
gaciones  diagnósticas  o  cuando  se  realizan  actividades  de 
programación. 


Los  diferentes  tipos  de  técnicas 

Una  primera  distinción  permite  reconocer  que  hay 
técnicas  específicas  para  los  diferentes  pasos  de  la  evalua¬ 
ción:  para  la  delimitación  del  problema  a  analizar  o  eva¬ 
luar,  para  formular  los  objetivos  de  la  investigación  o 
evaluación,  para  determinar  las  dimensiones  y  las  varia¬ 
bles  significativas,  para  seleccionar  los  indicadores  apro¬ 
piados,  para  recoger  y  procesar  la  información  necesaria, 
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para  analizar  los  datos,  para  elaborar  informes,  para  emi¬ 
tir  juicios  valorativos  y  para  efectuar  recomendaciones. 
En  este  capítulo  sólo  vamos  a  centrarnos  en  el  conjunto 
de  técnicas  útiles  para  recolectar  y  procesar  la  informa¬ 
ción  requerida  por  las  variables  y  los  indicadores  previa¬ 
mente  seleccionados. 

La  segunda  distinción  es  la  bien  conocida  entre  los 
que  realizan  investigación  social,  entre  información 
“primaria”  y  “secundaria”.  La  información  secundaria  in¬ 
cluye  los  datos  cuantitativos  y  cualitativos  ya  existentes 
y  de  diversas  fuentes,  sean  provenientes  del  propio  pro¬ 
grama  o  proyecto  evaluado  o  bien  de  estadísticas  y  do¬ 
cumentos  “externos”, ¿mientras  que  la  información  prima¬ 
ria  es  aquella  que  se  releva  especialmente  a  efectos  de  la 
evaluación.  Para  poder  decidir  si  es  necesario  obtener 
información  primaria  -y  en  ese  caso  cuál-  primero  ha¬ 
brá  que  recopilar  la  información  secundaria  disponible  y 
analizar  la  índole,  actualidad,  utilidad  y  confiabilidad  de 
la  misma. 

Hechas  esas  distinciones  y  aclaraciones,  describimos  a 
continuación  los  distintos  tipos  de  técnicas  para  recoger 
y/o  analizar  información. 

•  Análisis  de  información  cuantitativa:  consiste  en  la  apli¬ 
cación  de  cálculos  algebraicos  y/o  estadísticos  (sumas, 
diferencias,  cocientes,  proporciones,  tasas,  porcenta¬ 
jes,  medias,  medianas,  varianzas,  etc.)  a  los  datos  esta¬ 
dísticos,  de  índole  demográfica,  económica  y  social, 
ya  existentes  o  bien  a  aquellos  que  se  recojan  especial¬ 
mente  a  efectos  de  la  evaluación.  También  se  debe  in¬ 
cluir  en  esta  categoría  el  análisis  de  la  información 
presupuestaria  que  se  utilizará  para  el  análisis  de  las 


108 


Las  técnicas  de  evaluación 


variables  relativas  a  costos  y  gastos  o  la  información 
sobre  beneficiarios,  actividades  y  prestaciones  que 
suele  producir  periódicamente  un  proyecto  a  efectos 
de  la  evaluación  continua  (moni toreo).  Esta  es  una 
técnica  muy  utilizada  en  evaluaciones  sociales  y  re¬ 
quiere  la  recopilación  y  selección  de  la  información 
adecuada  para  cada  caso  y  su  posterior  análisis.  Es  re¬ 
comendable  confeccionar  grillas,  planillas  de  trabajo 
y/o  tabulados  que  permitan  la  agrupación  de  los  datos 
seleccionados  según  criterios  diversos  (etáreos,  de  gé¬ 
nero,  socioeconómicos,  etc.)  y  con  los  niveles  de  de¬ 
sagregación  que  se  requiera  (por  años,  decenios,  re¬ 
giones  geográficas,  áreas  sanitarias,  escuelas,  efectores 
de  salud,  etc.)  u  otra  especificación  que  luego  facilite 
el  análisis.  En  el  caso  de  tratarse  de  información  pri¬ 
maria  recogida  especialmente  para  la  evaluación,  se 
deben  diseñar  las  pautas  para  el  registro  de  los  datos 
(ejemplos:  planilla  de  asistencia  a  cursos  o  a  activida¬ 
des,  o  fichas  de  consultas  o  controles  en  los  centros  de 
salud). 

•  Análisis  de  información  secundaria  cualitativa:  implica  la 
recopilación  previa  de  la  documentación  pertinente. 
Aquí  se  incluyen  normas,  mapas,  manuales  de  proce¬ 
dimientos,  otros  programas,  proyectos  afines,  discur¬ 
sos,  folletos,  videos,  declaraciones,  recortes  periodís¬ 
ticos,  etc.,  que  puedan  ser  de  utilidad  en  la  evaluación. 
Luego  de  la  selección  habrá  que  realizar  un  análisis  en 
relación  con  las  variables  y/o  los  indicadores  respecti¬ 
vos  y  emitir  un  juicio  basado  en  el  material  estudiado. 
Un  caso  particular  es  el  análisis  comunicacional  que 
se  realiza  de  los  materiales  de  difusión  y  comunicá¬ 
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ción  social  que  produce  un  área  o  programa  (afiches, 
videos,  fotos,  cartillas,  etc.).2 

•  Análisis  de  cartografía:  si  bien  forma  parte  de  la  infor¬ 
mación  cualitativa  que  se  podría  analizar,  su  especifi¬ 
cidad  aconseja  tomarla  separadamente.  Es  útil  cuando 
el  proyecto  evaluado  requiere  el  conocimiento  de  la 
disponibilidad  y  distribución  de  recursos  y  población 
en  el  área  de  ejecución.  Es  una  técnica  de  análisis  de 
información  secundaria  cuando  se  utiliza  el  releva- 
miento  ya  realizado  por  el  programa  o  proyecto  en  el 
momento  de  su  formulación,  o  para  la  programación 
de  actividades;  y  se  lo  conoce  como  mapeo  de  efectores 
cuando  se  relevé  especialmente  para  la  evaluación.3  Es 
una  técnica  de  registro  de  la  infraestructura  social  bá¬ 
sica  de  un  área  determinada.  Se  deben  listar  y  ubicar 
en  el  mapa  respectivo  las  condiciones  del  hábitat,  la 
infraestructura  social  y  las  distintas  organizaciones 
vinculadas  al  tema  de  evaluación,  distinguiendo  la  de¬ 
pendencia  y  el  tipo  (por  ejemplo,  centros  de  salud  del 
primer  nivel,  hospitales,  jardines  maternales  y  de  in¬ 
fantes,  escuelas,  asociaciones  vecinales  y  comunitarias, 
clubes  sociales  y/o  deportivos,  las  ONG  de  desarrollo 


2.  Suele  ocurrir  que  a  la  vez  que  ese  material  es  analizado  como  fuen¬ 
te  informativa  sobre  determinadas  variables  del  modelo  evaluativo  diseña¬ 
do,  al  ser  producto  del  programa  o  proyecto,  es  evaluado  en  sí  mismo,  por 
lo  que  además  se  suelen  emitir  juicios  evaluativos  sobre  los  propios  mate¬ 
riales  comunicacionales  producidos  (en  particular  sobre  contenidos,  dise¬ 
ños,  alcance). 

3.  Suelen  hacerse  al  momento  de  construir  una  evaluación  ex  ante  o 
una  “línea  de  base”,  y  luego,  al  finalizar  un  período  determinado  o  bien  al 

culminar  el  proyecto,  para  poder  visualizar  los  cambios  ocurridos  en  la  in¬ 
fraestructura  básica. 
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social,  empresas,  etc.)  así  como  sus  áreas  de  respon¬ 
sabilidad,  trabajo  e  influencia.  Se  podrá  agregar  de 
forma  resumida  toda  otra  información  acerca  de  esas 
organizaciones  que  resulte  de  importancia:  cantidad 
y  tipo  de  personal,  población  a  la  que  sirven,  etc. 

•  El  censo  participativo  de  poblaciones  pequeñas  o  barrios 
es  una  forma  específica  del  mapeo  de  efectores  pero 
realizado  juntamente  con  la  población.  Es  una  de  las 
técnicas  utilizadas  en  el  PRA  (Participatory  Rural  Ap- 
praisal),  que  se  describe  más  adelante,  y  que  se  ha  im- 
plementado  en  programas  de  APS  (Atención  Primaria 
de  la  Salud)  para  detectar  población  beneficiaría  no 
asistida  o  cubierta.  Consiste  en  realizar  el  croquis  del 
área  y  el  relevamiento  de  instituciones,  viviendas  y  fa¬ 
milias  juntamente  con  los  pobladores.  En  evaluación 
es  una  técnica  muy  útil  para  tomar  a  la  vez  contacto 
con  la  población  beneficiaría  del  programa  o  proyecto 
que  se  evalúa  y  detectar  además  el  nivel  de  cobertura; 
el  hecho  de  que  la  propia  población  intervenga  en  su 
realización  permite  incrementar  el  compromiso  de  los 
pobladores  con  el  proyecto  o  programa,  y  facilita  el 
abordaje  comunitario,  además  de  aportar  al  conoci¬ 
miento  de  la  realidad  local  cuando  también  se  los  ha¬ 
ce  partícipes  del  análisis. 

•  Informe  pautado:  constituye  una  solicitud4  de  informa¬ 
ción  existente  o  disponible  en  los  proyectos  o  en  las 


4.  Esta  solicitud  podrá  provenir  de  la  unidad  ejecutora  de  un  progra¬ 
ma  hacia  los  respectivos  proyectos,  o  bien  desde  la  agencia  o  fundación  fi- 
nanciadora  hacia  el  programa  o  proyecto  financiado;  suele  usarse  en  eva¬ 
luación  de  clusters  o  en  evaluaciones  externas. 
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áreas,  tanto  cualitativa  como  cuantitativa,  con  pautas 
precisas  para  su  confección.  Suele  usarse  para  solicitar 
la  información  que  se  considere  básica  para  evaluar  las 
variables  incluidas  en  el  modelo  evaluativo  diseñado  y 
que  no  se  encuentre  disponible  o  que  no  se  considere 
suficiente  a  partir  de  otras  fuentes. 

Este  tipo  de  informe  ordena  preliminarmente  la  in¬ 
formación  requerida  y  contribuye  de  manera  impor¬ 
tante  a  incluir  el  punto  de  vista  de  los  propios  acto¬ 
res  pertenecientes  a  organizaciones  de  las  áreas  invo¬ 
lucradas,  de  modo  que  será  utilizado  también  para 
completar  o  contrastar  con  datos  provenientes  de 
otras  fuentes  de  recolección  y  análisis  de  información 
a  partir  de  otras  técnicas. 

Por  otra  parte,  es  útil  para  homogeneizar  -y,  por  en¬ 
de,  para  hacer  comparables  y  poder  consolidar-  los 
diferentes  informes  que  presentan  los  distintos  pro¬ 
yectos  de  una  familia  de  proyectos  (cluster)  o  perte¬ 
necientes  a  un  mismo  programa  o  dependientes  de 
una  misma  repartición  o  jurisdicción.  Es  importante 
desarrollar  los  modelos  de  tabulados  o  matrices  para 
completar,  así  como  brindar  indicaciones  precisas  re¬ 
feridas  a  la  información  cualitativa  requerida  y  las 
descripciones  solicitadas;  es  aconsejable  prever  una 
instancia  de  capacitación  específica  y  conjunta  con 
los  distintos  responsables  de  la  preparación  ulterior 
de  estos  informes  pautados  en  los  diferentes  proyec¬ 
tos,  de  modo  de  minimizar  errores  de  interpretación 
y  optimizar  su  calidad  para  hacerlos  fácilmente  pro- 
cesables  y  comparables. 

Este  tipo  de  informe  es  muy  útil  cuando  los  evaluado¬ 
res  lo  reciben  de  forma  previa  a  la  observación  de  te- 
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rreno,  ya  que  permite  orientar  mejor  la  mirada,  con¬ 
tar  con  conocimientos  previos  y,  por  ende,  formular 
mejores  preguntas. 

•  Observación  en  terreno :5  consiste  en  la  observación  di¬ 
recta  de  aspectos  que  permitan  acceder  al  conoci¬ 
miento  de  comportamientos,  ejecución  de  obras, 
existencia  y  adecuación  de  equipamiento  adquirido, 
de  procedimientos  institucionales  e  interacciones  de 
distintos  actores.  Es  conveniente  el  uso  de  guías 
orientadoras  y  capacitación  de  los  observadores,  ya 
que  los  puntos  de  vista,  las  concepciones  y  los  cono¬ 
cimientos,  así  como  los  intereses,  modifican  las  per¬ 
cepciones  y  elaboraciones  conceptuales  a  partir  de 
lo  observado.  Es  conveniente  que  esta  técnica  sea 
siempre  utilizada  como  complementaria  de  otras,  en 
especial  de  encuestas  y  entrevistas.  La  información 
relevada  a  través  de  la  observación  directa  debe  ser 
detallada  y  muy  descriptiva  ya  que  debe  permitir  que 
otros  entiendan  lo  que  el  observador  vio  “tal  como 
ocurrió”. 

•  La  técnica  de  la  entrevista:  una  entrevista,  en  el  campo 
que  nos  interesa,  es  una  conversación  de  carácter  pro¬ 
fesional  orientada  a  obtener  información  sobre  un  te¬ 
ma  predeterminado.6  Comprende  las  entrevistas  es¬ 
tructuradas ,  en  las  que  el  entrevistador  se  atiene  a  un 


5.  Observación  cualitativa,  investigación  de  campo,  observación  par¬ 
ticipante,  observación  in  situ,  son  otros  nombres  con  los  que  se  conoce 
esta  técnica. 

6.  Definición  del  Diccionario  de  Ciencias  Sociales  de  Fairchild  (1976). 
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cuestionario  prefijado,  y  las  semiestructuradas  en  las 
que  se  sigue  una  guía  de  temas  y  el  entrevistador  pue¬ 
de  ampliar  tanto  las  preguntas  como  los  temas  de  la 
forma  que  crea  conveniente  para  obtener  la  informa¬ 
ción  que  necesita.  La  entrevista  es  una  técnica  que  se 
usa  para  obtener  un  amplio  rango  de  información  y 
que  permite  profundizar,  corroborar  o  interpretar  da¬ 
tos  obtenidos  por  otros  medios  —observación,  infor¬ 
mación  estadística,  presupuestaria,  encuestas  sobre 
percepciones  y  satisfacción  de  beneficiarios,  etc.-. 
Hay  un  entrevistador  y  uno  o  varios  entrevistados  de 
acuerdo  con  el  tipo  de  que  se  trate.  Se  recomienda, 
por  un  lado,  el  uso  del  formato  semiestructurado  que 
orienta  al  entrevistador  y  da  la  posibilidad  de  incluir 
más  preguntas  en  el  transcurso  de  la  entrevista  y,  por 
otro,  la  grabación,7  para  registrar  adecuadamente  to¬ 
das  las  opiniones  de  los  entrevistados  y  realizar  poste¬ 
riormente  un  informe  completo  de  cada  una.  Distin¬ 
guiremos  dos  tipos  de  entrevistas:  a  informantes  clave 
y  grupal. 

-  Entrevista  a  informantes  clave:  se  entiende  por  in¬ 
formante  clave  a  aquel  que  “puede  hablar  por  un 
conjunto  de  personas”  o  que  “representa  la  voz”  de 
un  grupo.  Es  el  caso  de  decisores  del  nivel  político 
técnico,  responsables  de  programas,  líderes  comu- 


7.  La  grabación  permite  estar  atento  al  hilo  de  la  entrevista  sin  perder 
tiempo  y  atención  en  realizar  anotaciones.  Sin  embargo,  es  imprescindi¬ 
ble  contar  con  la  previa  autorización  del  entrevistado  y  haber  corrobora¬ 
do  que  no  lo  inhibe  o  coarta  en  la  expresión  de  sus  opiniones  y  juicios.  A 
veces  una  parte  de  la  entrevista  se  graba  y  otra  no. 
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nitarios,  entre  otros.  La  entrevista  a  estos  indivi¬ 
duos  se  utiliza  cuando  la  información  necesaria  re¬ 
quiere  la  opinión  de  pocas  personas  que  pueden 
brindarla  y  además  tienen  ciertas  particularidades 
que  no  hacen  recomendable  o  lógico  incluirlas  en 
talleres  o  entrevistas  grupales  con  otros  actores. 
También  se  utiliza  esta  técnica  como  complemen¬ 
to  de  encuestas  a  la  población  y  de  algunos  datos 
obtenidos  por  información  secundaria.  Para  ase¬ 
gurar  los  aspectos  relativos  a  confiabilidad  y  com- 
parabilidad,  es  conveniente  el  uso  de  guías  para  su 
realización  que  den  cierta  estructuración  a  las  en¬ 
trevistas.  Además,  deberán  tomarse  las  necesarias 
precauciones  acerca  de  la  selección  y  capacitación 
de  los  entrevistadores. 

Entrevista  grupal:  a  los  efectos  evaluativos,  esta  téc¬ 
nica  se  utiliza  para  obtener  información  a  partir  de 
los  puntos  de  vista  de  diferentes  actores  en  una 
misma  entrevista.  Los  convocados  (población  be¬ 
neficiaría,  técnicos  del  programa,  administradores, 
usuarios  de  un  determinado  servicio,  etc.)  dan  sus 
opiniones  y  expresan  sus  juicios  sobre  temas  pro¬ 
puestos  y  orientados  por  un  entrevistador  que  mo¬ 
dera  la  discusión.  Sin  ser  un  taller,  tanto  por  el  nú¬ 
mero  de  personas  -el  número  ideal  es  entre  cinco 
y  ocho  personas-  como  por  la  dinámica,  permite 
profundizar  temas  específicos  de  forma  rápida  y 
con  bajo  costo.  Dificulta  el  ocultamiento  de  infor¬ 
mación  por  parte  de  algún  participante  y,  bien  di¬ 
rigida,  permite  la  expresión  de  individuos  que  no 
se  expresarían  en  una  situación  individual  o  en  un 
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grupo  demasiado  grande.  Puede  complementar  in¬ 
formación  obtenida  por  encuesta  a  la  población,  o 
de  datos  del  programa  o  proyecto  evaluado  (cuan¬ 
do  se  realiza  a  profesionales  y  personal  de  adminis¬ 
tración). 

•  Juicio  de  expertos :  esta  técnica  se  utiliza  cuando  se  ca¬ 
rece  de  información  acerca  de  una  temática  o  bien 
como  complemento  o  parámetro  del  análisis  sobre  la 
base  de  información  existente.  Se  entiende  por  “ex¬ 
perto”  a  aquel  individuo  que  haya  acumulado  cono¬ 
cimiento  y  experiencia  en  relación  con  el  tema  en 
cuestión  y  sea  suficientemente  “reconocido”  en  el 
ambiente  profesional  respectivo,  debido  a  su  capaci¬ 
dad  en  la  materia.  Con  estas  características  se  busca 
una  “objetividad”  que  dotará  a  sus  juicios  de  una  ma¬ 
yor  validez,  a  la  vez  que  validará  las  apreciaciones 
provenientes  de  otras  fuentes.  Si  se  trata  de  un  con¬ 
junto  de  expertos  -lo  cual  es  recomendable-  se  plan¬ 
tea  el  problema  de  cómo  arribar  a  un  único  juicio  a 
partir  de  los  que  cada  uno  emita;  ello  puede  efectuar¬ 
se  mediante  actividadvgrupal  coordinada  para  la  bús¬ 
queda  de  consensos,  o  bien  mediante  el  análisis  que 
los  evaluadores  realicen  para  consolidar  semejanzas  y 
abarcar  disparidades  en  los  juicios  que  los  expertos 
emitan. 

•  Historia  de  vida:  es  una  técnica  muy  utilizada  por  los 
antropólogos.  Consiste  en  la  realización  de  dos  o  tres 
entrevistas  a  una  persona,  que  es  tomada  como  repre¬ 
sentativa  de  la  realidad  de  un  grupo  o  tema.  A  través 
de  las  entrevistas  se  reconstruyen  la  vida,  aspectos 
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culturales,  sociales,  etc.,  de  esa  persona  en  relación 
con  el  tema  que  se  indaga.  Es  una  técnica  que  priori- 
za  la  profundidad  del  análisis  y  que  en  evaluación 
puede  ser  útil  cuando  necesitamos  información  pre¬ 
cisa  sobre  un  tema  específico  de  determinado  grupo 
o  cuando  la  profundidad  del  análisis  individual  nos 
ayuda  a  comprender  el  funcionamiento  de  determi¬ 
nadas  realidades  socioculturales  que  han  actuado  co¬ 
mo  obstáculos  para  la  consecución  de  algunas  activi¬ 
dades  del  proyecto  evaluado,  y  para  realizar  reco¬ 
mendaciones  acertadas  sobre  los  caminos  a  seguir. 
Por  ejemplo,  en  un  proyecto  de  atención  primaria  de 
salud  para  una  comunidad  indígena,  donde  no  se  han 
podido  aplicar  vacunas  o  donde  las  mujeres  no  acep¬ 
tan  el  parto  institucional,  se  pueden  indagar,  a  través 
de  esta  técnica,  las  pautas  culturales  que  hay  detrás 
del  embarazo  y  el  parto,  y  los  prejuicios  y  las  percep¬ 
ciones  de  la  vacunación,  para  recomendar  acciones 
apropiadas.  En  proyectos  para  jóvenes,  esta  técnica 
puede  ser  de  gran  utilidad  para  evaluar  el  impacto 
que  la  participación  en  el  proyecto  tuvo  en  la  dis¬ 
minución  del  riesgo  (exposición  a  la  droga,  alcoholis¬ 
mo  o  delincuencia)  y  el  aumento  de  oportunidades 
(capacitación,  inserción  laboral)  en  la  vida  de  los  jó¬ 
venes  participantes. 

•  Apreciaciones  rápidas :  actualmente  muy  en  boga,  tanto 
que  suele  ser  elevada  al  rango  de  “metodología”,  pero 
en  verdad  constituye  un  conjunto  de  herramientas  muy 
útiles  en  determinadas  situaciones,  ya  que  permite  a  un 
grupo  de  evaluadores,  en  general  con  diferente  forma¬ 
ción  y  especialización,  realizar  en  un  tiempo  muy  bre- 
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ve  una  apreciación  cualitativa  de  hechos  y  situaciones 
con  respecto  al  funcionamiento  de  un  programa  o  pro¬ 
yecto.  Esta  metodología  fue  diseñada,  entre  otros,  por 
Robert  Chambers  como  una  forma  de  realizar  diag¬ 
nósticos  o  evaluaciones  en  áreas  rurales  (en  principio 
se  conocía  como  RRA  [Rural  Rapid  Appraisal]).  Luego 
se  comenzó  a  usar  en  todo  tipo  de  programas  y  se  le 
incluyó  el  atributo  de  participativo  (Participatory 
Rural  Appraisal  -PRA-),  porque  incorporó  varias  téc¬ 
nicas,  como  dinámica  de  grupos  y  el  taller,  para  facili¬ 
tar  la  inclusión  del  punto  de  vista  de  la  población  be- 
neficiaria  en  el  diagnóstico  o  evaluación.  Utiliza  ade¬ 
más  muchas  de  las  técnicas  antes  descriptas:  entrevistas 
en  sus  varias  formas,  mapeos,  historias  de  vida,  etc.  Co¬ 
mo  complemento,  el  rapid  appraisal  también  utiliza  in¬ 
formación  secundaria  disponible,  tanto  cuantitativa 
como  cualitativa.  Por  lo  general,  la  recolección,  el  pro¬ 
cesamiento,  el  análisis  y  la  devolución  de  resultados,  así 
como  las  recomendaciones,  se  incluyen  en  un  solo  pro¬ 
ceso,  durante  el  trabajo  de  campo  de  los  evaluadores.8 

•  La  técnica  de  taller:  un  taller  es  un  espacio  físico  y  sim¬ 
bólico  para  la  interacción  de  actores  similares  o  dife¬ 
rentes  que,  a  través  de  reflexión  y  debate,  facilitados 
por  técnicas  de  dinámica  grupal,  arriban  a  un  produc¬ 
to  común  donde  se  pueden  marcar  diferencias  o  con¬ 
sensos.  Se  distingue  de  otras  modalidades,  como  las 


8.  Eso  es  así  debido  a  que  en  estos  casos  los  evaluadores  suelen  ser 
externos  y  para  realizar  la  evaluación  deben  viajar  y  quedarse  en  terreno 
hasta  que  el  proceso  acabe,  lo  cual  demanda  de  forma  variable  desde  una 
semana  hasta  casi  un  mes  en  ciertos  casos. 
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reuniones  grupales  o  el  seminario,  porque  mezcla  as¬ 
pectos  educativos  y  de  interacción  social  con  la  obten¬ 
ción  de  un  producto  concreto  que  puede  ser  aplicado 
inmediatamente  en  la  práctica  cotidiana  de  trabajo. 
Es  una  herramienta  básica  de  la  planificación  y  eva¬ 
luación  participativas. 

Analizaremos  cuatro  tipos  de  taller.  Los  dos  primeros 
que  describiremos  son  el  taller  con  aplicación  de  cuestio¬ 
nario  y  el  de  confrontación ,  que  utilizan  un  mix  de  la  téc¬ 
nica  de  encuesta  y  de  taller  propiamente  dicho,  a  partir 
de  lo  cual  se  obtiene  la  información. 

-  Taller  con  aplicación  de  cuestionario:  consiste  en  la  rea¬ 
lización  de  una  reunión  (generalmente  de  una  jor¬ 
nada)  en  la  cual  en  primer  término  se  aplica  un 
cuestionario,  preferentemente  con  preguntas  cerra¬ 
das,  a  un  conjunto  de  personas  seleccionadas  de 
acuerdo  con  criterios  prefijados.  Hay  una  coordina¬ 
ción  que  actuará  como  guía,  dando  las  consignas 
para  responder  correctamente,  explicitando  objeti¬ 
vos  y  significados  de  las  preguntas  y  aclarando  las 
dudas  que  puedan  surgir.  Una  vez  completado  el 
cuestionario  por  todo  el  grupo,  se  procesan  las  res¬ 
puestas  a  algunas  preguntas  seleccionadas  según  su 
relevancia  y  que  sinteticen  los  temas  abordados.  La 
coordinación  presenta  luego  los  principales  resulta¬ 
dos  al  grupo,  que  se  constituye  a  partir  de  ese  mo¬ 
mento  en  taller  propiamente  dicho,  para  discutir 
estos  resultados  y  profundizar  el  análisis.  Esta  téc¬ 
nica  se  recomienda  para  obtener  información  que 
involucre  opiniones,  percepciones,  experiencias  o 
conocimientos  de  diversos  actores,  ya  que  permite 
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la  aplicación  simultánea  del  instrumento  a  varias 
personas,  ahorrando  tiempo  y  homogeneizando  la 
interpretación  de  las  preguntas  al  dar  consignas  de 
forma  grupal.  Asimismo,  permite  la  devolución  in¬ 
mediata  de  algunos  resultados  importantes  y  una 
interpretación  de  sus  significados,  lo  que  posibilita 
la  inmediata  reflexión  grupal  y  aporta  mayor  rique¬ 
za  al  análisis  de  los  evaluadores.  Con  esta  técnica  se 
gana  mucho  en  profundización  y  comprensión  de 
algunos  conceptos  o  cuestiones  que  se  estén  eva¬ 
luando,  pero  se  pierde  en  representatividad  estadís¬ 
tica  (en  comparación  con  una  encuesta).  Esto  pue¬ 
de  relativizarse  bastante,  aunque  sea  difícil  “medir” 
en  cuánto,  mediante  una  cuidadosa  selección  de  los 
participantes  que  se  convocan  al  taller. 

-  Taller  de  confrontación:  es  un  caso  particular  de  taller 
con  cuestionario.  El  instrumento  a  aplicar  puede 
diferir  según  los  casos,  pudiendo  utilizarse  indistin¬ 
tamente  cuestionario  cerrado,  abierto,  matriz  a  lle¬ 
nar  colectivamente,  etc.  Implica  la  organización  de 
los  participantes  en  dos  o  más  grupos  homogéneos 
internamente  y  diferenciados  entre  sí  por  algún 
atributo.  Este  atributo  puede  ser  la  pertenencia  a 
distintas  organizaciones,  a  distintos  sectores  o  sub¬ 
sectores  del  proyecto  o  programa  o  a  distintos  ni¬ 
veles  sectoriales.  Cualquiera  que  sea,  se  supone  que 
los  actores  así  diferenciados  tienen  percepciones  u 
opiniones  diferentes  respecto  de  la  variable  o  as¬ 
pecto  a  evaluar.  Por  ejemplo,  para  evaluar  el  fun¬ 
cionamiento  de  centros  de  salud  se  divide  el  taller 
en  tres  grupos:  por  un  lado,  los  técnicos  del  nivel 
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central,  encargados  de  supervisar  el  funcionamiento 
de  los  efectores;  un  segundo  grupo  formado  por  los 
profesionales  y  técnicos  que  trabajan  en  el  centro  de 
salud,  y  un  tercer  grupo  con  los  beneficiarios.  O  en 
un  programa  nutricional  que  entrega  cajas  o  bolso¬ 
nes  de  alimentos,  que  pretende  evaluar  el  funciona¬ 
miento  administrativo  y  los  canales  de  distribución, 
se  forman  dos  grupos:  en  el  primero,  los  técnicos 
municipales  encargados  de  organizar  y  monitorear 
la  focalización  y  distribución  de  cajas,  y  en  el  segun¬ 
do,  los  beneficiarios  y  representantes  de  organiza¬ 
ciones  barriales.  El  instrumento  seleccionado  se 
aplica  a  cada  uno  de  los  subgrupos  por  separado,  y 
el  procesamiento,  el  análisis  y  la  discusión  se  hacen 
en  conjunto,  para  permitir  la  confrontación.  Para 
ello,  la  coordinación  deberá  centrar  la  discusión  en 
torno  a  aquellos  aspectos  que  reflejen  distintas  pers¬ 
pectivas  sobre  los  temas  planteados.  Por  lo  demás, 
el  tratamiento  es  similar  al  del  cuestionario  aplicado 
en  taller.  La  confrontación  de  los  distintos  juicios 
permite  la  explicitación  de  supuestos  valorativos 
que  condicionan  las  conductas  de  los  diferentes  ac¬ 
tores.  En  consecuencia,  facilita  la  comprensión  de 
problemas  originados  en  percepciones  e  interpreta¬ 
ciones  diferentes  de  la  misma  realidad.  Como  en  el 
caso  anterior,  permite  una  devolución  inmediata  a 
los  actores  involucrados  y  aporta  mayor  profundi¬ 
dad  y  riqueza  a  los  juicios  del  evaluador. 

Las  dos  técnicas  que  siguen,  el  taller  de  análisis  de 
articulación  organizacional  y  el  taller  de  análisis  de  pro¬ 
cesos  decisorios ,  forman  parte  de  las  nuevas  técnicas 
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denominadas  “interaccionistas”  y  de  “seguimiento 
de  eventos”.9  Estas  técnicas  utilizan  datos  cualitati¬ 
vos  y  situacionales  siguiendo,  en  el  marco  del  taller, 
el  circuito  de  una  actividad,  programa  o  política  que 
se  selecciona  para  evaluar  aspectos  previamente  de¬ 
finidos  como  relevantes. 

Es  importante  tener  en  cuenta  que  estas  técnicas  no 
evalúan  el  programa  o  proyecto  como  totalidad  sino 
solamente  su  capacidad  gerencial.  En  ese  sentido  la 
técnica  se  constituye  en  el  hilo  conductor  para  califi¬ 
car  el  desarrollo  de  esa  capacidad. 

-  Taller  de  análisis  de  articulaciones  organizacionales:  se 
utiliza  para  evaluar  las  modalidades  de  articula¬ 
ción  de  las  organizaciones,  tanto  con  aquellas  que 
son  similares  como  con  otras  que  sean  distintas. 
Por  ejemplo,  organizaciones  comunitarias  o  veci¬ 
nales  entre  sí,  o  de  ellas  con  instituciones  sectoria¬ 
les  ubicadas  en  el  mismo  territorio,  como  el  cen¬ 
tro  de  salud,  la  escuela,  el  club,  etc.,  así  como  con 
otros  equipos  de  otros  programas  actuantes  en  di¬ 
cho  territorio.  Se  trata  de  averiguar,  a  través  del 
taller,  qué  articulan  (información,  recursos,  activi¬ 
dades,  etc.),  de  qué  forma  lo  hacen  (formal  o  in¬ 
formalmente),  cada  cuánto  (hay  reuniones  pro¬ 
gramadas,  de  vez  en  cuando,  sin  programación, 
nunca),  etc.  Se  recomienda  el  uso  de  esta  técnica 
en  programas  que  forman  parte  de  sistemas  mayo- 


9.  Ambos  fueron  diseñados  y  aplicados  en  el  marco  del  proyecto  De¬ 
sarrollo  de  un  Modelo  Evaluativo  para  Sistemas  Locales  de  Salud,  ejecu¬ 
tado  por  CEADEL  en  1989/91,  con  el  apoyo  de  IDRC,  Ottawa,  Canadá. 
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res  y  que,  por  ende,  deben  vincularse  a  otras  orga¬ 
nizaciones,  o  en  aquellos  donde  la  relación  con 
otros  grupos  o  instituciones  es  parte  importante  de 
la  concreción  de  los  objetivos  del  programa.  Se 
convoca  a  representantes  del  programa  o  proyecto 
evaluado  y  de  las  organizaciones  pertinentes,  te¬ 
niendo  en  cuenta  todas  las  instituciones  y/o  grupos 
que  deberían  estar  involucrados  en  la  correcta  ges¬ 
tión.  El  taller  es  de  alrededor  de  una  jornada  y  se 
trabaja  en  plenario  con  una  coordinación  que  or¬ 
denará  la  discusión  y  registrará  las  modalidades  y 
los  contenidos  de  las  relaciones  establecidas  por  el 
programa  con  otros  programas,  grupos  o  institu¬ 
ciones,  y  se  valorarán  las  “idoneidades”  de  esas  re¬ 
laciones.  Los  criterios  pueden  ser:  importancia 
atribuida  al  vínculo,  frecuencia  del  intercambio, 
grado  en  que  se  comparten  objetivos  o  informa¬ 
ción,  etc.  Como  en  todo  taller  deberá  arribarse  a 
algún  acuerdo  en  el  que  queden  claros  el  grado  de 
articulación  real  existente  en  el  programa  o  pro¬ 
yecto  y  las  acciones  concretas  para  establecer 
aquellas  que  no  se  hayan  producido.  Por  ejemplo, 
en  un  proyecto  de  desarrollo  de  un  centro  de  cui¬ 
dado  (CCI  -  CDI)  de  niños  menores  de  cinco  años 
en  el  que  es  importante  la  vinculación  con  otras 
instituciones  del  barrio  y  con  las  instituciones  gu¬ 
bernamentales,  se  convoca,  además  del  personal 
del  centro,  a  algún  representante  del  centro  de  sa¬ 
lud  (CS),  a  otro  del  jardín  de  infantes  y/o  la  escue¬ 
la  a  los  que  esos  niños  deberán  asistir  posterior¬ 
mente,  de  la  junta  vecinal  o  similar,  a  los  represen¬ 
tantes  de  programas  nutricionales  y  educativos 
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que  prestan  asistencia  al  centro,  etc.,  y  a  través  de 
la  técnica  descripta  se  analizarán  las  intensidades 
de  las  relaciones  de  cada  institución  u  organización 
con  el  centro  y  se  delinearán  estrategias  adecuadas 
para  reforzar  y/o  poner  en  marcha  esas  relaciones. 

-  Taller  de  análisis  de  procesos  decisorios:  consiste  en  la 
reconstrucción  colectiva,  en  un  taller,  de  un  proce¬ 
so  decisorio  concreto  desde  su  gestación.  En  esta 
reconstrucción  de  los  principales  momentos  o  hitos 
que  atraviesa  este  proceso,  se  busca  detectar  en  qué 
medida  el  desempeño  de  la  función  gerencial,  ca¬ 
racterizada  como  un  proceso  continuo  de  toma  de 
decisiones,  se  acerca  o  se  distancia  de  un  perfil,  pre¬ 
viamente  fijado,  de  capacidades  para  dicha  función. 
Para  la  realización  del  taller  se  convoca  a  un  grupo 
de  no  más  de  treinta  personas,  de  las  que  la  mayo¬ 
ría  (alrededor  de  dos  tercios)  deben  desempeñar  o 
haber  desempeñado  funciones  en  la  actividad  o  el 
programa  que  estemos  evaluando.  El  resto  de  los 
actores  convocados  deben  ser  representantes  de  los 
usuarios  o  beneficiarios  del  programa  o  la  actividad 
y  de  organizaciones  involucradas  de  alguna  manera 
con  él.  El  taller  se  desarrollará  en  una  jornada,  en 
forma  de  plenario  bajo  la  conducción  de  una  coor¬ 
dinación  que  ordenará  la  discusión  grupal  y  siste¬ 
matizará  y  registrará  los  acuerdos  alcanzados  en 
una  matriz  previamente  diseñada.  La  matriz  con¬ 
tendrá  el  listado  de  los  momentos  clave  del  proce¬ 
so  de  gestión  (origen  de  la  propuesta,  momento  de 
la  formulación  del  programa,  de  la  aprobación  del 
proyecto,  de  la  definición  de  los  criterios  de  imple- 
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mentación,  de  la  asignación  de  recursos,  de  ejecu¬ 
ción,  de  control,  etc.)  por  un  lado,  y  los  indicadores 
del  desarrollo  de  la  función  gerencial  por  otro  (ade¬ 
cuación  de  procesos  administrativos,  adecuación  de 
las  decisiones,  negociación  y  administración  de 
conflictos,  liderazgo,  aptitud  de  innovación,  etc.). 

•  La  técnica  de  la  encuesta:  la  encuesta  es  el  método  más 
difundido  de  recolección  de  información  en  ciencias 
sociales.  Consiste  en  la  interrogación  a  personas  sobre 
temas  específicos  a  través  de  un  cuestionario  estructu¬ 
rado  y  cuidadosamente  preparado,  administrado  per¬ 
sonalmente  o  por  teléfono  por  un  encuestador.10  Los 
encuestados  son  seleccionados  en  muchos  casos,  pero 
no  siempre,  a  través  de  una  muestra  representativa. 
Las  respuestas  obtenidas  son  codificadas  y  luego  ana¬ 
lizadas  para  arribar  a  conclusiones.  Tanto  la  amplitud 
de  aspectos  y  sujetos  a  los  que  se  puede  llegar  a  través 
de  ella,  como  el  hecho  de  ser  el  método  más  eficaz  pa¬ 
ra  la  obtención  de  información  cuantitativa,  la  con¬ 
vierten  en  una  de  las  técnicas  más  difundidas  en  la  in¬ 
vestigación  sociológica  y  en  la  evaluación.  En  evalua¬ 
ción  se  ha  utilizado  mucho  esta  técnica  como  parte  de 
estudios  complejos. 


10.  En  algunos  países  desarrollados  está  muy  difundido  el  uso  de  en¬ 
cuestas  autoadministradas.  El  cuestionario  llega  por  correo,  el  destinatario 
lo  contesta  y  lo  envía,  también  por  correo,  a  la  institución  encuestadora. 
En  la  Argentina  y  en  general  en  América  latina  se  usa  en  ocasiones  muy 
particulares.  En  general,  para  realizar  encuestas  en  poblaciones  de  sectores 
pobres  se  recomienda  aplicarlas  mediante  encuestadores  especialmente 
adiestrados,  por  ejemplo,  alumnos  de  años  avanzados  de  las  escuelas  secun¬ 
darias  existentes  en  el  barrio  o  de  barrios  vecinos. 
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Las  encuestas  por  muestreo  representativo  son  muy  usadas 
para  medir  aspectos  cuantitativos,  pero  también  se  ha 
difundido  mucho  su  uso  para  medir  aspectos  como 
participación  en  actividades,  percepciones,  utilización 
de  servicios,  gastos,  opiniones  y  satisfacción  de  la  gen¬ 
te  con  respecto  a  la  oferta  de  servicios.  Cuando  se  en¬ 
cuesta  a  toda  la  población  de  un  área,  adquiere  la  ca¬ 
racterística  de  censo  (para  esa  área),  pero  en  general  las 
encuestas  se  realizan  por  muestreo.  Este  muestreo  es 
representativo  cuando,  por  técnicas  de  carácter  esta¬ 
dístico,  se  pueden  expandir  sus  resultados  a  un  univer¬ 
so  previamente  determinado.  Hay  casos  en  los  que  las 
muestras  deben  estratificarse  debido  a  las  heterogenei¬ 
dades  de  los  respectivos  universos,  por  ejemplo,  en 
función  de  grupos  etáreos,  diferentes  niveles  de  pobre¬ 
za  o  riesgo,  etc.  Las  muestras  deben  proveer  una  con¬ 
fiabilidad  tal  que  permita  distinguir  la  variabilidad  no 
deseada  atribuible  a  error  por  azar  en  el  proceso  de  re¬ 
colección,  de  la  variabilidad  debida  a  fuentes  u  oríge¬ 
nes  sistemáticos  explicables. 

Cada  vez  más  se  utilizan  en  evaluación  lo  que  podría¬ 
mos  llamar  pequeñas  encuestas ,  tanto  por  su  extensión 
como  por  el  tamaño  de  las  muestras,  debido  a  que  la 
encuesta  tradicional  es  considerada  una  técnica  cara  y 
que  requiere  tiempo  para  implementarse,  procesarse 
y  obtener  información  válida.  Son  encuestas  realiza¬ 
das  en  pequeña  escala,  analizando  pocas  variables  y 
usando  muestras  acotadas  y  obtenidas,  en  muchos  ca¬ 
sos,  por  métodos  informales.  En  las  evaluaciones  de 
proyectos  y  programas  permiten  obtener  información 
cuantitativa  en  un  tiempo  corto,  con  un  grupo  peque¬ 
ño  de  encuestadores;  luego  puede  profundizarse, 
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triangulando  con  otras  técnicas,  como  entrevistas  y 
talleres. 

A  continuación  incluiremos  los  estudios  de  seguimiento 
de  cohortes  y  los  estudios  con  grupos  de  control  o  testigo.  No 
desconocemos  que  estos  tipos  de  estudios  son  en  sí  mis¬ 
mos  diseños  evaluativos.  Sin  embargo,  algunas  veces,  en 
programas  sociales  se  utilizan  estos  métodos  como  técni¬ 
cas,  insertas  en  un  esquema  múltiple,  junto  a  otras  como 
las  anteriormente  descritas,  según  sean  las  variables  y  los 
indicadores  seleccionados,  o  bien  según  el  momento  de 
desarrollo  del  programa  o  proyecto  que  está  siendo  eva¬ 
luado. 

•  Estudios  de  seguimiento  de  cohortes:  se  utilizan  cuando  se 
quieren  medir  u  observar  variables  en  el  mismo  grupo 
de  individuos  pero  en  diferentes  momentos  a  lo  largo 
del  tiempo.  La  cohorte  está  formada  por  el  grupo  de 
estudio  al  que  se  le  aplica,  a  lo  largo  de  un  período,  la 
medición  u  observación  de  un  conjunto  de  variables 
previamente  determinadas.  Un  requisito  importante 
es  contar  con  series  relativamente  largas  y  sistemáti¬ 
cas.  Por  ello  esta  técnica  se  utiliza  mucho  en  evalua¬ 
ciones  educativas,  donde  se  puede  contar  con  series  de 
pruebas,  calificaciones,  asistencia,  etc.,  lo  que  permite 
seguir  a  un  grupo  de  alumnos  a  lo  largo  de  un  período 
de  escolarización  (escuela  primaria,  secundaria,  tercia¬ 
ria,  universitaria)  y  se  pueden  analizar  los  cambios 
operados  en  determinadas  áreas.  Por  lo  mismo  es  bas¬ 
tante  complicado  utilizar  esta  técnica  en  otro  tipo  de 
proyectos  y  programas  sociales,  ya  que  se  refiere  a  po¬ 
blaciones  “cautivas”,  o  sea  que  pertenecen  a  una  deter- 
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minada  institución  o  ámbito,  y  durante  períodos  pro¬ 
longados. 

•  Estudios  con  grupos  de  control  o  testigo:  suponen  medir  u 
observar  la  misma  variable  en  dos  grupos  similares  en 
todas  las  demás  variables  (sexo,  edad,  raza,  clase  social, 
área  de  residencia,  etc.)  menos  la  observada.  Por 
ejemplo:  dos  grupos  de  niños  de  un  mismo  barrio  y 
condición  social,  donde  los  integrantes  de  uno  de  ellos 
asisten  a  un  jardín  maternal  y  los  del  otro  grupo  no 
asisten;  se  aplica  a  los  niños  de  ambos  grupos  un  test 
determinado  para  medir  los  desarrollos  madurativos 
alcanzados  (bajo  el  supuesto  de  que  aquellos  que  asis¬ 
ten  al  jardín  y  habiendo  recibido  mayor  o  mejor  esti¬ 
mulación,  obtendrán  mejores  resultados).  Es  una  téc¬ 
nica  difícil  de  aplicar,  pues  puede  resultar  complicado 
el  proceso  de  igualación  de  las  variables. 

Reiteramos  lo  dicho  al  comienzo  sobre  la  imposibili¬ 
dad  de  ser  exhaustivas  en  la  lista  de  técnicas  disponibles  y 
útiles  para  los  evaluadores.  Dejamos  de  citar  aquí  varias 
importantes,  tales  como  los  grupos  focales,  el  método  Delphi , 
la  técnica  nominal  para  la  toma  de  decisiones  aplicada  a  la 
evaluación,  el  mystery  client, n  tan  usado  en  las  empresas 
(frecuente  en  bancos)  y  también  en  el  marco  de  los  proce¬ 
sos  de  mejoramiento  de  calidad  en  los  servicios  de  salud. 


1 1 .  Mystery  client  significa  cliente  simulado,  oculto  o  misterioso  y  se 
refiere  a  alguien  que  se  hace  pasar  por  cliente,  usuario,  beneficiario  y  su¬ 
fre  en  carne  propia,  a  la  vez  que  observa,  el  proceso  de  atención  o  pres¬ 
tación  del  servicio.  A  nuestro  entender,  esta  técnica  adolece  de  criterios 
éticos  apropiados  en  el  marco  de  una  evaluación. 
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En  la  bibliografía  que  proponemos  se  pueden  encontrar 
textos  que  desarrollan  esas  y  otras  técnicas  útiles. 


¿Cómo  decidir  qué  técnicas  utilizar? 

Tenemos  ante  nosotros  un  amplio  abanico  de  técnicas. 
La  cuestión  es  decidir:  ¿cuáles  usamos?,  ¿qué  se  releva?  El 
arte  aquí  está  dado  por  seleccionar  qué  información  es 
apropiada  para  cada  situación.  No  hay  una  receta  para 
elegir  qué  técnicas  usar  en  cada  evaluación.  Ello  depen¬ 
derá  de  varios  factores,  algunos  de  los  cuales  se  enuncian 
a  continuación: 

•  cuál  es  el  propósito  de  la  evaluación; 

•  qué  tipo  de  información  se  necesita  como  mínimo  pa¬ 
ra  los  indicadores  determinados; 

•  para  quién  es  la  información  y  quién  va  a  hacer  uso  de 
los  resultados; 

•  cómo  se  va  a  usar  la  información; 

•  cuándo  es  necesaria  la  disponibilidad  de  la  informa¬ 
ción; 

•  momento  en  que  se  encuentra  el  proceso  de  ejecución 
del  proyecto  o  programa  que  es  evaluado; 

•  qué  recursos  tenemos  disponibles  (presupuestarios, 
humanos,  tiempo). 

Es  importante  que  la  información  obtenida  mediante 
cualquiera  de  las  técnicas  descritas  sea  corroborada  a  tra¬ 
vés  de  diferentes  fuentes  y  mediante  el  uso  de  otra  u 
otras  técnicas.  La  utilización  de  diferentes  técnicas,  fuen¬ 
tes  e,  incluso,  distintos  evaluadores,  para  asegurar  la  con- 


129 


Olga  Nirenberg ,  Josette  Brawerman ,  Violeta  Ruiz 

fiabilidad  y  validez  de  los  datos  obtenidos  constituye  el 
criterio  de  triangulación  que  ya  se  describió  en  el  capítu¬ 
lo  sobre  abordajes  (véase  pág.  95). 

Asimismo,  una  misma  técnica  (cuestionario,  taller) 
puede  ser  utilizada  para  evaluar  diversas  variables  inclui¬ 
das  en  el  modelo  diseñado.  En  ese  sentido,  es  convenien¬ 
te  que  los  instrumentos  que  se  utilicen  sean  suficiente¬ 
mente  sencillos  y  a  la  vez  abarcativos  de  varias  variables 
o  indicadores  incluidos  en  el  modelo  evaluativo,  a  fin  de 
evitar  acumulación  de  información  que  luego  resulta 
muy  difícil  procesar,  y  también  en  términos  de  economía 
de  recursos  volcados  a  la  etapa  de  recolección  de  infor¬ 
mación,  ya  que  la  misma  suele  insumir  bastantes  esfuer¬ 
zos  tanto  de  personal  como  de  tiempo  y  de  dinero. 

En  resumen,  en  la  evaluación,  al  igual  que  en  toda  in¬ 
vestigación  social,  la  selección  de  las  técnicas  adecuadas 
para  apreciar  o  medir  cada  variable  o  indicador  es  una 
cuestión  relevante. 


¿Y  sobre  los  instrumentos? 

A  través  de  las  breves  descripciones  previas,  se  des¬ 
prende  que  cualesquiera  sean  las  técnicas  que  se  utilicen, 
éstas  requieren  para  su  ejecución  la  confección  de  instru¬ 
mentos  apropiados,  como  cuestionarios  de  encuestas, 
pautas  de  entrevista,  guías  de  observación,  matrices  para 
utilizar  en  talleres,  grillas  para  el  volcado  de  datos,  tabu¬ 
lados  para  informes  pautados,  etc. 

La  selección  y  la  confección  de  instrumentos  adecua¬ 
dos  para  llevar  adelante  cada  técnica  revisten  una  espe¬ 
cial  importancia.  Tal  como  expresamos  en  el  epígrafe 
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que  encabeza  este  capítulo,  de  su  idoneidad  dependerá 
gran  parte  del  éxito  de  su  aplicación.  Por  eso  es  impor¬ 
tante  el  tiempo  que  se  dedique  a  esta  etapa  de  la  evalua¬ 
ción  y  la  correcta  selección  de  quienes  diseñen  y  admi¬ 
nistren  los  instrumentos  para  el  trabajo  de  campo.  Por 
otra  parte,  es  también  de  gran  importancia  que  sean 
previamente  “validados”  mediante  la  realización  de  pre¬ 
test  o  pruebas  piloto  que  permitan  realizar  los  ajustes  y 
las  correcciones  necesarios  antes  de  la  salida  al  campo 
propiamente  dicha.  Además,  cada  instrumento  debe  ir 
acompañado  de  un  instructivo12  para  su  correcta  utiliza¬ 
ción  y  llenado;  pero  el  hecho  de  redactar  minuciosas 
instrucciones  no  evita  el  tener  que  capacitar  adecuada¬ 
mente  a  aquellos  que  los  aplicarán,  los  codificarán  y  los 
procesarán.  Por  más  claro  y  sencillo  que  sea  un  instru¬ 
mento,  debe  enfatizarse  que  siempre  requiere  de  ins¬ 
tructivo  y  de  capacitación  específica. 

Hay  mucha  literatura  escrita  que  aborda  y  abunda 
acerca  de  formas  adecuadas  de  confeccionar  cuestiona¬ 
rios,  preguntas  para  encuestas  y/o  entrevistas,  grillas  de 
información,  cuadros,  etc.  Es  por  ello  que  en  este  libro 
no  desarrollaremos  este  aspecto.  Sin  embargo,  y  para 
aquellos  lectores  a  los  que  les  interese  profundizar  en  la 
temática,  en  la  bibliografía  se  enumeran  algunas  publi¬ 
caciones  que  se  ocupan  específicamente  de  este  tema. 


12.  A  veces  las  instrucciones  para  utilización  y  llenado  van  en  el  propio 
formato  del  instrumento,  otras  veces  van  aparte,  en  hoja  u  hojas  adjuntas. 
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_ CAPITULO  5 

El  diseño  de  un  modelo  evaluativo 


“¿  Qué  hicimos  cuando  desencadenamos  a  la  tierra  del  sol? 
¿ Hacia  dónde  vamos  ahora?  [...]  ¿No  está  cubriéndolo  to¬ 
do  una  noche  interminable?”  [...]  El  loco  calló  y  miró  a  sus 
callados  oyentes:  “He  venido  antes  de  tiempo ”,  les  dijo , 
“este  tremendo  acontecimiento  aún  está  en  vías  de  produ¬ 
cirse”.  [...]  Nietzsche  así  advertía  que  cuando  una  socie¬ 
dad  pierde  su  centro  de  valores  vendrán  oleadas  de  masa¬ 
cres,  aterradoras  noches  de  barbarie  [...]  la  salida,  propo¬ 
ne  Nietzsche,  es  encontrar  un  nuevo  centro  de  valores,  no 
la  vuelta  al  previo,  sino  la  “revalorización”  o  replantea¬ 
miento  de  todos  los  valores  “es  mi  fórmula  para  un  acto 
esencial  de  autoexamen  por  parte  de  la  humanidad”.  Ese 
es  el  modo  de  superar  el  penoso  azoramiento  y  la  ansiedad 
de  no  saber  qué  camino  tomar. 

Rollo  May.1 


¿Por  qué  un  modelo? 

¿Será  “modelo”  un  término  feliz  para  nombrar  lo  que 
queremos  decir?  En  todo  caso  es  un  término  que  se  usa 
mucho  en  la  jerga  y  nuestra  intención  no  es  sugerir  su 
reemplazo  sino  contribuir  a  la  construcción  de  su  signi¬ 
ficado. 

De  las  diversas  acepciones  que  presenta  el  Diccionario 
de  la  Real  Academia  Española ,  la  que  más  se  acerca  a  nues¬ 
tra  interpretación  es: 


1.  May,  R.:  El  hombre  en  busca  de  sí  mismo,  Buenos  Aires,  Fausto,  1996. 
(Las  citas  que  él  hace  de  Nietzsche  son  de  Así  habló  Zaratustra.) 
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Esquema  teórico,  generalmente  en  forma  matemática,  de  un  sis¬ 
tema  o  de  una  realidad  compleja  (por  ejemplo,  la  evolución  eco¬ 
nómica  de  un  país),  que  se  elabora  para  facilitar  su  comprensión  y 
el  estudio  de  su  comportamiento.2 

Etimológicamente  la  palabra  “modelo”  proviene  de  la 
misma  raíz  que  “modo”,  y  tal  parentesco  alude  a  “for¬ 
ma”,  “manera”,  “uso”.3 4  El  concepto  de  modelo  se  rela¬ 
ciona  con  el  verbo  “modelar”  y  con  el  sustantivo  “módu¬ 
lo”,  y  se  desconfía  del  parentesco  con  “moldear”  o  “mol¬ 
de”,  esa  otra  acepción  que  nosotros  también  desecha¬ 
mos,  de  “copia”  o  “imitación”. 

Emplearemos  entonces  la  palabra  “modelo”  en  el  sen¬ 
tido  antes  dicho  de  una  construcción 4  basada  en  hipótesis 
teóricas  sobre  el  funcionamiento  de  una  realidad  comple¬ 
ja,  para  su  mejor  comprensión  y  para  provocar  intervencio¬ 
nes  eficaces  que  produzcan  transformaciones  deseables. 
Constituye  una  abstracción ,  una  representación  que  se 
construye  para  comprender  y  explicar  una  realidad  com¬ 
pleja;  el  modelo  no  es  la  realidad,  pero  facilita  su  com¬ 
prensión  para  poder  operar  en  ella. 

Nuestra  interpretación  de  “modelo  evaluativo”  inclu¬ 
ye  la  forma  o  manera  de  evaluar  diferentes  realidades  o  fe¬ 
nómenos  sociales. 

2.  Pero  en  todo  caso  se  aleja  de  otras  acepciones:  “ejemplo  que  por  su 
perfección  se  debe  seguir  e  imitar”  y  en  particular  de  esa  otra  que  agrega 
el  atributo  de  “invariable”. 

3.  Corominas,  J.  y  Pascual,  J.  A.:  Diccionario  crítico  etimológico  castella¬ 
no  e  hispánico ,  Madrid,  Gredos,  1991,  vol.  IV,  págs.  99  y  100. 

4.  Cabe  aclarar  que  esa  construcción  no  la  entendemos  como  realiza¬ 
da  de  forma  individual,  sino  como  un  proceso  abierto  y  colectivo,  donde 
participan  de  manera  interactiva,  según  los  momentos,  actores  diferentes. 
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También  incluimos  la  acepción  de  “modular”,  puesto 
que  la  conformación  de  un  modelo  evaluativo,  como  ve¬ 
remos  luego,  se  integra  por  diferentes  módulos  o  dimensio¬ 
nes.  Estos  no  necesariamente  deben  aplicarse  a  un  mismo 
tiempo  o  en  cada  “corte  evaluativo”,  sino  que  a  lo  largo 
del  proceso  de  la  gestión  de  los  programas  y/o  proyectos 
-y  también  previo  a  su  inicio  y  posterior  a  su  finaliza¬ 
ción-  se  pondrá  énfasis  en  evaluar  ciertas  dimensiones  o 
aspectos  más  que  otros. 


Los  atributos  deseables  de  un  modelo  evaluativo 

Aun  a  costa  de  ser  reiterativas,  nos  interesa  destacar 
que  todo  modelo  evaluativo  que  se  construya  debería  po¬ 
seer  la  siguiente  serie  de  atributos. 

•  Ser  holístico :  debe  procurar  la  comprehensividad  de 
modo  de  incluir  la  totalidad  de  los  aspectos  de  la  ges¬ 
tión  de  los  programas  o  proyectos.  Es  decir,  no  debe 
ser  concebido  para  ser  aplicado  a  algún  aspecto  en  par¬ 
ticular;  por  lo  cual  no  sería  del  todo  encasillable  en  al¬ 
guno  de  los  tipos  de  evaluación  mencionados  en  el  ca¬ 
pítulo  2,  aunque  podrá  tomar  características  de  varios 
de  ellos.  Partiendo  de  la  formulación  del  programa  o 
proyecto  -sea  ésta  explícita  o  no-,  lo  desagrega  en  di¬ 
ferentes  componentes  evaluables.  Incorpora  elemen¬ 
tos  de  estructura,  de  procesos  y  de  resultados.  Supone 
el  uso  de  una  multiplicidad  de  técnicas  cuantitativas  y 
cualitativas,  incluyendo  aquellas  que  permiten  incor¬ 
porar  la  perspectiva  de  los  distintos  actores  involucra¬ 
dos  en  los  procesos  de  programación/evaluación. 
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•  Ser  modular :  la  comprehensividad  no  significa  que  se 
deba  evaluar  todo  al  mismo  tiempo.  Como  se  men¬ 
cionó  antes,  habrá  distintos  focos  o  énfasis  según  los 
momentos  de  evolución  de  la  gestión  de  los  progra¬ 
mas  o  proyectos  correspondientes  a  cada  aplicación 
evaluativa.  En  un  primer  momento,  las  dimensiones 
asociadas  a  los  procesos  de  implantación  serán  las 
prioritarias;  luego  lo  será  el  desarrollo  de  los  proce¬ 
sos  sustantivos  y  gerenciales;  en  la  etapa  final  o  pos¬ 
terior  al  fin  adquirirán  relevancia  los  resultados,  efec¬ 
tos  o  cambios  producidos  por  la  gestión  del  progra¬ 
ma  o  proyecto,  así  como  la  eficacia  de  las  estrategias 
desplegadas  para  lograr  la  sustentabilidad  social  y 
económica. 

•  Involucrarse  en  el  proceso  de  gestión  en  todas  sus  etapas, 
contribuyendo  al  aprendizaje  institucional  y  a  una  re- 
troalimentación  permanente  entre  la  evaluación  y  la 
programación.  Debe  apuntar  a  generar  aptitudes  en 
los  actores  del  programa  o  proyecto,  para  ir  dejando 
allí  capacidades  instaladas  que  permitan  la  inclusión 
de  una  cultura  organizacional  evaluativa.  Es  aconseja¬ 
ble  que  su  diseño  se  realice  al  mismo  tiempo  que  la 
formulación  del  proyecto  y  que  su  aplicación  sea  pro¬ 
gramada  en  diferentes  momentos  del  desarrollo  de  la 
gestión,  de  modo  que  los  resultados  contribuyan  a  in¬ 
corporar  ajustes  tanto  al  proyecto  como  al  mismo 
modelo  evaluativo.  Sin  embargo,  sirve  también  para 
aquellos  casos  en  los  que  los  evaluadores  son  convo¬ 
cados  para  evaluar  al  final  de  la  gestión,  situación  por 
demás  frecuente. 

•  Ser  flexible:  así  como  no  existe  un  modelo  único  que 
sirva  para  todo  programa  o  proyecto,  tampoco  debe 
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pensarse  que  un  modelo  diseñado  al  comienzo  de  un 
programa  deba  permanecer  idéntico  e  invariable  a  lo 
largo  de  toda  la  gestión;  lejos  de  eso,  debe  ser  lo  su¬ 
ficientemente  flexible  como  para  introducir  algunas 
modificaciones  o  agregados  que  den  cuenta  de  los 
cambios  en  los  contextos  de  aplicación.  Sin  embar¬ 
go,  habrá  que  cuidar  que  tales  ajustes  no  perturben 
la  posibilidad  de  comparaciones  entre  los  diferentes 
momentos  de  aplicación  evaluativa. 

•  Incorporar  las  perspectivas  de  los  distintos  actores:  si  bien 
el  evaluador  cumple  un  rol  fundamental  en  el  proce¬ 
so  evaluativo,  no  es  posible  concebirlo  sin  la  inter¬ 
vención  de  los  principales  actores  desde  sus  primeras 
etapas.  A  partir  de  la  toma  de  conocimiento  de  los 
documentos  del  programa/proyecto  y  del  diálogo 
con  los  que  lo  formularon  y/o  ejecutan  actividades, 
el  evaluador  propondrá  las  grandes  líneas,  concep- 
tualizará  las  dimensiones  de  la  evaluación  y  sus  prin¬ 
cipales  aspectos.  Pero  ese  rol  debe  ser  instrumental, 
pues  sus  habilidades  metodológicas5  deberán  estar  al 
servicio  del  conocimiento  que  los  actores  tienen  del 
lugar  y  la  realidad  donde  se  desempeñan,  de  modo 
tal  de  facilitar  su  intervención  en  las  decisiones  con 
respecto  a  la  selección  de  las  dimensiones,  variables 
e  indicadores,  en  la  definición  de  las  técnicas  y  los 
instrumentos  de  recolección  a  utilizar,  así  como  en 
la  implementación  de  la  evaluación,  en  sus  correc¬ 
ciones  y  cambios,  en  el  análisis  y  seguimiento  de  sus 


5.  Hacemos  referencia  a  esas  habilidades  del  evaluador  cuando  en 
otros  lugares  del  texto  nos  referimos  al  “metodólogo”. 
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resultados,  en  las  conclusiones  extraídas  de  ellos  y  en 
la  formulación  de  las  recomendaciones. 


Las  partes  que  integran  un  modelo  evaluativo 

Podemos  adelantar  un  esquema  sintetizador  de  las 
partes  de  un  modelo  evaluativo. 

I.  Precisiones  conceptuales. 

1.  Marco  teórico  general. 

2.  Las  dimensiones  y  variables:  definiciones  concep¬ 
tuales  y  operativas. 

II.  Aspectos  metodológicos. 

1.  Abordaje  metodológico  general. 

2.  Técnicas  sugeridas  /Instrumentos. 

3.  Fuentes. 

4.  Actores  participantes. 

5.  Cronograma  de  aplicación  y  focos. 

III.  Matriz  síntesis  del  modelo  evaluativo. 

IV.  Instrumento  valora  ti  vo. 

En  lo  que  sigue  se  profundizará  sobre  los  ítem  recién 
señalados,  aunque  no  necesariamente  en  ese  orden,  a 
efectos  de  una  mejor  comprensión. 


Parte  por  parte 

Un  modelo  evaluativo  contiene,  en  primer  lugar,  la 
“teoría”  que  existe  por  detrás  del  programa  o  proyecto 
que  constituye  el  objeto  de  la  evaluación.  Por  lo  tanto, 
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el  modelo  debe  reflejar  la  concepción  del  cambio  que 
sustenta  la  intervención  social;  se  supone  que  si  se  llevan 
adelante  ciertas  acciones  en  determinadas  circunstan¬ 
cias,  se  obtendrán  los  resultados  esperados,  en  términos 
de  superar,  contribuir  a  solucionar  o  evitar  que  empeo¬ 
ren  determinadas  situaciones  sociales.  Lo  que  el  mode¬ 
lo  debe  poner  en  evidencia  son  justamente  tales  cuestio¬ 
nes:  los  supuestos,  los  requerimientos  contextúales,  las 
estructuras  necesarias  y  los  procesos  o  líneas  de  acción  a 
desarrollar  para  obtener  los  resultados  esperados. 

Esas  cuestiones  constituyen  los  aspectos  conceptuales 
del  modelo,  los  cuales  tienen  mucho  que  ver  con  las  ca¬ 
racterísticas  del  objeto  de  la  evaluación,  o  sea  que  diferi¬ 
rán  si  se  trata  de  un  programa  educativo,  de  salud,  de  de¬ 
sarrollo  integral,  de  adolescentes,  etc. 

De  acuerdo  con  lo  anterior,  se  infiere  que  un  mode¬ 
lo  evaluativo,  entonces,  pondrá  en  evidencia  el  “estado 
del  arte”  en  el  campo  de  conocimiento  respectivo.  Por 
ejemplo:  se  trata  de  construir  un  modelo  evaluativo  pa¬ 
ra  un  proyecto  que  realiza  actividades  de  educación  inicial 
para  los  niños  de  2  a  5  años  de  familias  pobres,  en  pro¬ 
cura  de  prevenir  riesgos  posteriores  de  mal  rendimiento ,  de 
repitencia  o  de  deserción  escolar  de  esos  niños  en  el  nivel 
primario.  Primero  habrá  que  conocer  en  profundidad  y 
explicitar  el  estado  de  avance  del  conocimiento  en  el 
campo  de  la  psicopedagogía,  acerca  de  las  formas  más 
eficaces  (y  eficientes)  de  brindar  educación  inicial  para 
un  mejor  desarrollo  posterior  del  niño  en  su  etapa  esco¬ 
lar.  Y  sabemos  que  las  concepciones  en  diversos  mo¬ 
mentos  de  la  historia  del  conocimiento  son  diferentes, 
habiendo  campos  donde  los  cambios  son  más  acelerados 
que  en  otros  (Khun,  1970). 
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Un  problema  frecuente  en  las  disciplinas  sociales,  co¬ 
mo  vimos  en  el  capítulo  3,  es  que  no  existe  un  solo  para¬ 
digma  sino  varias  teorías,  muchas  veces  contrapuestas 
entre  sí,  a  veces  superpuestas,  y  sin  demasiadas  eviden¬ 
cias  de  su  “validez”  o  demostraciones  fidedignas  acerca 
de  sus  grados  de  eficacia.6 

Esos  aspectos  deben  ser  explicitados  en  el  capítulo 
conceptual  de  un  modelo  evaluativo:  debe  aclararse  en 
cuál  teoría  o  escuela  se  inscribe  el  programa  o  proyecto 
en  el  particular  campo  de  conocimiento  que  aborda;  ade¬ 
más  corresponde  anticipar  qué  contribuciones  se  esperan 
de  la  aplicación  evaluativa  para  incrementar  la  validación 
de  esa  teoría.  En  el  ejemplo  que  dimos  debe  aclararse 
cuál  es  la  teoría  pedagógica  (del  aprendizaje,  y/o  del  de¬ 
sarrollo  infantil)  en  que  se  basa  el  programa  o  proyecto 
(y,  por  ende,  el  modelo  evaluativo)  y  qué  aportes  realiza¬ 
rá  la  evaluación  para  su  confirmación  o  no  y  para  formu¬ 
lar  propuestas  de  ajustes. 

Es  en  ese  sentido  que  Briones  dice: 

[...]  la  evaluación  es  investigación  interdisciplinaria  que  se  apo¬ 
ya,  según  el  caso,  en  la  psicología,  la  antropología,  la  sociología, 
la  economía,  la  estadística,  pero  en  sí  misma  no  es  una  ciencia 
distintiva  con  su  propio  objeto  teórico  de  estudio  (Briones, 
1991:  15). 


6.  Vimos  en  el  capítulo  2  que  entendemos  por  eficacia  de  una  inter¬ 
vención  social  la  medida  en  que  ésta  logra  los  objetivos  que  se  propone; 
en  nuestro  ejemplo,  la  modalidad  de  educación  inicial  que  permite  un 
mejor  rendimiento  y  evita  la  deserción  o  repitencia  de  los  niños  en  sus 
etapas  escolares. 
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Raramente  es  tan  sencillo  como  en  nuestro  ejemplo 
delimitar  el  marco  conceptual  del  modelo  evaluativo,  y 
eso  se  debe  a  que  en  general  los  programas  o  proyectos 
suelen  ser  más  complejos  y  abordar  más  de  un  campo 
disciplinario,  lo  que  equivale  a  decir,  en  nuestra  jerga, 
que  son  “multidimensionales”.  Por  ejemplo,  suponga¬ 
mos  que  ese  mismo  proyecto  de  educación  inicial  se  lle¬ 
ve  a  cabo  a  través  de  una  modalidad  de  trabajo  con  mu¬ 
jeres  de  la  propia  comunidad,  las  “madres  cuidadoras”, 
las  que  se  desempeñan  en  “centros  de  desarrollo/cuidado 
infantil”;  las  madres,  a  su  vez,  requieren  ser  capacitadas 
en  técnicas  de  estimulación  y  en  aspectos  de  desarrollo 
infantil,  así  como  en  temas  de  liderazgo,  de  administra¬ 
ción  y  de  gerencia  de  dichos  centros.  Entonces,  no  sólo 
debemos  estar  al  tanto  de  los  avances  del  conocimiento 
en  materia  de  métodos  eficaces  para  el  desarrollo  infan¬ 
til  sino  que  además  debemos  conocer  los  métodos  efica¬ 
ces  para  la  educación  de  adultos,  para  el  fortalecimien¬ 
to  del  liderazgo  en  proyectos  o  grupos  comunitarios, 
sobre  todo  en  grupos  de  mujeres,  y  para  la  gerencia  y  la 
administración  de  proyectos  sociales  o  instituciones  sin 
fines  de  lucro.  A  eso  aludimos  cuando  atribuimos  a  los 
programas  y  proyectos  sociales  el  carácter  de  multidi¬ 
mensionales. 

Para  complejizar  aún  más  lo  que  venimos  diciendo, 
hay  casos  en  los  que  puede  no  existir  avance  relevante  de 
conocimiento  específico  y  el  desafío  entonces  es  cons¬ 
truirlo  a  partir  de  diferentes  campos  disciplinarios.  To¬ 
mando  un  ejemplo  distinto:  si  el  propósito  global  de  un 
programa  o  proyecto  es  desarrollar  la  ciudadanía  juvenil , 
construiremos  nuestro  marco  conceptual  a  partir  de  los 
avances  existentes  en  la  ciencia  política  actual  acerca  del 
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concepto  de  ciudadanía  y  los  que  existan  en  la  ciencia  so¬ 
cial  en  materia  de  desarrollo  juvenil.7 

En  resumen,  el  marco  conceptual  a  que  estamos  ha¬ 
ciendo  referencia  deberá  incluir  primeramente  la  teoría  o 
concepción  global  del  cambio  sobre  la  que  se  basa  la  propuesta 
general  de  intervención. 

Asimismo,  se  darán  las  definiciones  o  precisiones  concep¬ 
tuales  para  cada  una  de  las  dimensiones  y  variables  que  se  in¬ 
cluyan  en  el  modelo  evaluatdvo,  teniendo  en  cuenta,  como 
se  dijo,  que  cada  una  podrá  referirse  a  diferentes  campos 
del  conocimiento,  con  distintos  grados  de  avance. 

De  tal  forma,  cada  una  de  las  dimensiones  que  se  inclu¬ 
yan  en  el  modelo  evaluativo  constituirá  en  sí  una  “teoría”, 
desde  el  momento  en  que  plantea  que  dadas  ciertas  circuns¬ 
tancias,  contando  con  determinadas  estructuras  de  recursos 
y  desarrollando  ciertas  actividades  o  procesos,  se  obtendrán 
ciertos  resultados  deseados  (y  también  otros  no  esperados). 
Por  ende,  habrá  de  explicitarse,  no  sólo  en  general  sino 
también  para  cada  dimensión,  cuál  es  la  particular  concep¬ 
ción  del  cambio  que  implica  -la  “teoría”  que  la  sustenta-. 

También  es  necesario  incluir  las  definiciones  operaciona- 
les  de  cada  variable ,  lo  que  significa  que  deberán  especifi¬ 
carse  en  función  de  los  indicadores  -o  variables  observables- 
con  los  cuales  las  mediremos  o  apreciaremos. 

La  determinación  de  las  dimensiones,  las  variables  y 
los  indicadores  del  modelo  evaluativo  es  de  tal  enverga¬ 
dura  que  le  dedicaremos  un  apartado  específico  a  conti¬ 
nuación  de  éste. 

7.  No  desconocemos  que  existen  apreciables  avances  teóricos  acerca 
de  la  ciudadanía  juvenil;  de  modo  que  éste  constituye  en  verdad  un  ejem¬ 
plo  “simulado”. 
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Reiteramos  que  el  marco  conceptual  de  la  evaluación 
será  a  la  vez  una  retroalimentación  del  encuadre  teórico 
del  propio  programa  o  proyecto.  En  realidad,  si  el  pro¬ 
ceso  de  planificación  y  programación  hubiera  sido  com¬ 
prehensivo  y  adecuado,  y  su  formulación  en  el  documen¬ 
to  respectivo  fuera  completa  y  clara,  su  encuadre  teórico 
resultaría  prácticamente  coincidente  con  el  de  la  evalua¬ 
ción  (véase  el  capítulo  1  acerca  de  la  evaluación  como 
imagen  en  un  espejo,  es  decir  inversa,  del  proceso  de  pla¬ 
nificación/  programación). 

Pero  lo  cierto  es  que  rara  vez  el  documento  del  pro¬ 
grama  o  proyecto  es  tan  completo,  por  lo  que  antes  de 
diseñar  un  modelo  evaluativo  se  requiere  una  intensa  in¬ 
teracción  entre  los  evaluadores  y  los  que  programaron  y 
conducen  la  ejecución,  de  modo  de  poder  dar  respuesta 
a  las  siguientes  preguntas  básicas  e  iniciales: 

•  ¿Cuáles  son  los  objetivos  del  programa  o  proyecto? 

•  ¿Qué  resultados  esperan  obtener? 

•  ¿Qué  pasos  seguirán  o  han  seguido  para  llevar  adelan¬ 
te  el  programa  o  proyecto  (cuál  es  la  estrategia  o  se¬ 
cuencia  lógica  de  la  acción)? 

•  ¿Cómo  se  relacionan  esos  pasos,  las  actividades  y  los 
productos,  con  los  objetivos  y  las  metas  propuestos? 

El  modelo  también  debe  contener  las  especificaciones 
acerca  de  las  estrategias  que  se  van  a  adoptar  para  cono¬ 
cer  e  interpretar  la  realidad.8 

Debe  incluirse  además  una  lista  de  las  técnicas  que  se 
sugiere  utilizar,  así  como  especificaciones  acerca  de  sus 


8.  A  ello  nos  hemos  referido  en  el  capítulo  3. 
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formas  de  aplicación  y  aclaraciones  acerca  de  los  instru¬ 
mentos  requeridos  en  cada  caso;  los  instrumentos,  con 
sus  respectivos  instructivos,  se  anexarán  al  documento 
conceptual  y  metodológico. 

También  hay  que  precisar  las  fuentes  de  donde  se  con¬ 
seguirá  la  información  (secundaria  o  primaria):  docu¬ 
mentos,  estadísticas,  registros  del  propio  programa,  ac¬ 
tores,  personas  o  grupos  clave,  etc. 

Y  aunque  se  sabe  que  en  la  práctica  sufrirá  modifica¬ 
ciones,  conviene  anticipar  un  cronograma  de  las  aplica¬ 
ciones  evaluativas  a  lo  largo  del  período  de  gestión  del 
programa  o  proyecto,  especificando  los  momentos  eva- 
luativos  y  los  respectivos  énfasis:  qué  dimensiones  y/o 
qué  variables  se  resaltarán,  con  qué  técnicas  de  releva- 
miento  se  obtendrá  la  información  y  qué  actores  inter¬ 
vendrán  en  cada  uno  de  esos  momentos  evaluativos. 

Las  dimensiones  del  modelo  evaluativo 

La  determinación  de  las  dimensiones  de  la  evaluación 
es  quizá  su  paso  conceptual  más  definitorio.  Ésa  es  una  ta¬ 
rea  que  no  podrá  ser  realizada  de  forma  autónoma  por  el 
equipo  evaluador,  sino  en  acuerdos  conceptuales  y  opera- 
cionales  con  los  responsables  de  la  formulación  y  opera¬ 
ción  del  programa  o  proyecto.  Ellos  son  quienes  saben  lo 
que  la  acción  se  propone,  aunque  a  veces  puedan  no  tener 
tan  claro  cómo  lograrlo  (a  lo  cual,  reiteramos,  podrá  con¬ 
tribuir  el  proceso  evaluativo,  formulando  las  preguntas 
apropiadas  y  respondiéndolas  con  fundamentos  sólidos). 

Para  determinar  acertadamente  las  dimensiones  del 
modelo  deben  utilizarse  criterios  clasificatorios  apropiá¬ 
is 
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dos,  lo  cual  es  una  virtud  no  muy  común  en  los  evalua¬ 
dores  o  en  los  dentistas  sociales.  Éste  es  un  arte  que  de¬ 
pende  no  sólo  de  haber  estudiado  las  disciplinas  metodo¬ 
lógicas  sino  además  de  la  experiencia  acumulada  a  lo  lar¬ 
go  de  las  trayectorias  profesionales,  y  por  qué  no,  tam¬ 
bién  de  ciertos  rasgos  de  la  personalidad  de  quienes  tie¬ 
nen  responsabilidades  en  el  diseño.  Por  lo  tanto,  no  cree¬ 
mos  que  con  las  precisiones  que  daremos  a  continuación, 
sea  posible  transferir  la  habilidad  para  elegir  acertada¬ 
mente  las  dimensiones,  pero  sin  duda  es  necesario  cono¬ 
cerlas.  Un  reaseguro,  como  se  dijo,  es  que  otros  actores 
y  diversos  metodólogos  intervengan  en  ese  proceso  de 
selección. 

Las  dimensiones  que  toma  la  evaluación  se  corres¬ 
ponden,  en  general,  con  las  principales  líneas  de  acción  y 
con  las  estrategias  que  plantea  el  respectivo  programa  o 
proyecto. 

Hay  ciertas  dimensiones  que  constituyen  el  meollo 
del  modelo  evaluativo,  que  denominamos  aquí  sustanti¬ 
vas  porque  hacen  referencia  a  los  propósitos  medulares 
de  los  programas  o  proyectos;  sus  nombres  serán  pare¬ 
cidos  a  los  de  las  principales  líneas  de  acción  del  res¬ 
pectivo  programa  o  proyecto,  hayan  sido  éstas  explici- 
tadas  o  no. 

Existen  otras  dimensiones  que  no  tienen  que  ver  de 
forma  directa  sino  mediata  con  los  contenidos  sustanti¬ 
vos  del  particular  programa  o  proyecto;  son  las  que  se 
vinculan  a  líneas  de  acción  más  instrumentales,  que 
constituyen  medios  para  el  desarrollo  de  las  otras  líneas 
sustantivas,  como  las  relativas  al  gerenciamiento  (por 
ejemplo:  la  conformación  y  coordinación  de  los  equipos 
de  trabajo,  la  capacitación  y/o  el  adiestramiento  de  los 
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recursos  humanos,  la  administración,  el  modo  de  finan- 
ciamiento  del  programa  o  proyecto). 

Por  otra  parte,  existe  apreciable  desarrollo  teórico 
acerca  de  la  acción  social,  en  el  sentido  de  que  debe  adop¬ 
tar  modalidades  promocionales,  integrales,  sinérgicas, 
participativas,  asociativas,  multiactorales,  multidisciplina¬ 
res,  y  esos  atributos  de  la  gestión  de  los  programas  o  pro¬ 
yectos9  implicarán  la  inclusión  de  dimensiones  específicas. 
Las  llamadas  dimensiones  instrumentales  o  gerenciales  y 
aquellas  relacionadas  con  las  modalidades  deseables  de  la 
gestión  social  o  estratégicas  deberían  incluirse  en  todo  mo¬ 
delo  evaluativo,  más  allá  del  problema  sustantivo  que  el 
correspondiente  programa  o  proyecto  intente  solucionar. 

Podemos  sintetizar  lo  que  venimos  diciendo  en  el  si¬ 
guiente  esquema: 

TIPO  DE  DIMENSIONES  EJEMPLOS 

Sustantivas  Control  del  niño  sano;  desa¬ 

rrollo  integral  del  niño;  comple- 
mentación  escolar;  capacitación 
laboral  de  adolescentes;  alfabe¬ 
tización  de  adultos;  desarrollo 
de  ciudadanía;  complementa- 
ción  alimentaria. 

Gerenciales  o  instrumentales  Capacitación  de  recursos  hu¬ 
manos;  comunicación  social; 
trabajo  en  equipo;  administra¬ 
ción;  financiamiento;  adquisi¬ 
ción  de  equipos  e  insumos; 
construcciones. 

Estratégicas  o  de  atributos  Integralidad;  sinergismo;  asocia- 

tividad;  participación;  multidisci- 
plinariedad;  multiactoralidad. 


9.  Suelen  denominarse  “estrategias”  a  esos  atributos  de  la  gestión. 
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Lo  que  antecede  es  una  clasificación  muy  general  y 
los  ejemplos  en  cada  caso  no  buscan  exhaustividad.  No 
desconocemos  que  hay  proyectos  cuyo  propósito  princi¬ 
pal,  sustantivo,  puede  aludir  a  cuestiones  estratégicas  o 
gerenciales,  por  ejemplo,  promover  la  participación  de 
actores  en  determinado  contexto  o  escenario,  en  cuyo 
caso  tal  dimensión  pasará  de  ser  estratégica  a  ser  sustan¬ 
tiva.  También  algunas  dimensiones  clasificadas  como  ge¬ 
renciales  pueden  pasar  a  ser  sustantivas,  dependiendo  de 
la  índole  del  proyecto  o  programa;  caso  típico:  la  capaci¬ 
tación  de  recursos  humanos  en  grandes  instituciones. 
Reiteramos  entonces  que  el  esquema  anterior,  lejos  de 
ser  taxativo  y  de  casilleros  estancos,  sólo  procura  recor¬ 
dar  que,  cualesquiera  que  sean  los  propósitos  sustantivos 
del  programa  o  proyecto,  tendrán  que  tenerse  en  cuenta 
además  esas  otras  dimensiones  gerenciales  y  estratégicas. 

Por  otra  parte,  las  dimensiones  sustantivas  mencionadas 
en  el  esquema  pueden  constituir  los  únicos  propósitos  me¬ 
dulares  y  dar  el  nombre  al  respectivo  proyecto:  caso  de  los 
proyectos  de  capacitación  laboral,  de  alfabetización,  de  mi- 
croemprendimientos  productivos,  entre  otros;  pero  tam¬ 
bién  pueden  ser  líneas  de  acción  de  proyectos  más  compre¬ 
hensivos,  que  incluyen  esas  y  otras  líneas  de  acción. 

Siguiendo  con  un  ejemplo  anterior:  si  el  propósito 
global  es  desarrollar  la  ciudadanía  juvenil ,  y  para  ello  el 
proyecto  planteó  como  líneas  de  acción  capacitar,  desarro¬ 
llar  capacidades  de  liderazgo ,  generar  espacios  físicos  y  simbó¬ 
licos  de  participación  o  protagonismo  juvenil,  desarrollar  orga¬ 
nizaciones  juveniles ,  entre  otras,  se  podrían  elegir  como 
dimensiones  sustantivas  de  la  evaluación:  capacidades  de  li¬ 
derazgo,  participación  y  protagonismo  juvenil,  desarrollo/for¬ 
talecimiento  de  las  organizaciones  juveniles.  Las  dimensiones 
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gerenciales  o  instrumentales  serían:  capacitación  de  recur¬ 
sos  humanos ,  infraestructura  física  y  equipamientos  para  las 
actividades  juveniles,  comunicación  y  difusión ,  administración 
y  gestión  financiera ,  sustentabilidad  social  y  económica .  Las 
dimensiones  estratégicas  podrán  ser:  modalidad  asociativa 
de  la  gestión ,  participación  o  inclusión  de  actores ,  integralidad 
de  la  acción. 


Abriendo  el  abanico  de  las  dimensiones 

Como  fue  anticipado,  las  dimensiones  deberán  espe¬ 
cificarse  en  otras  variables  de  menor  complejidad,  que  a 
su  vez  requerirán  de  un  proceso  de  operacionalización 
mediante  la  selección  de  los  indicadores  apropiados. 

La  determinación  de  las  variables  correspondientes  a 
una  dimensión  se  realiza  teniendo  en  cuenta  cuáles  as¬ 
pectos  estructurales  y  procesales  son  necesarios  para  al¬ 
canzar  el  resultado  específico  que  plantea  la  dimensión 
(recuérdese  que  este  último  será  coincidente  con  el  obje¬ 
tivo  de  la  respectiva  línea  de  acción).  Por  ello,  el  evalua¬ 
dor  deberá  preguntarse  constantemente  (a  sí  mismo  y  a 
los  que  tienen  la  responsabilidad  de  programar  y  ejecu¬ 
tar)  ¿de  qué  depende  el  logro  de  tal  objetivo?,  pregunta 
cuya  respuesta  no  es  otra  que  el  detalle  de  las  actividades 
que  se  programaron  (o  debieron  programarse)  para  lo¬ 
grarlo.  Y  la  evaluación  procurará,  por  un  lado,  determi¬ 
nar  si  aquéllas  estuvieron  bien  planteadas,  y  por  otro,  si 
están  siendo  correctamente  ejecutadas  -grado  de  cum¬ 
plimiento  de  la  direccionalidad  deseable-  pues  se  orien¬ 
tan  al  logro  de  su  objetivo  o  lo  concretan.  Asimismo,  la 
evaluación  buscará  conocer  cuáles  fueron  los  obstáculos 
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o  las  causas  de  fracasos  para  ver  cómo  superarlos  en  el  fu¬ 
turo  o  en  otros  contextos. 

Un  enfoque  parcial  de  nuestro  anterior  ejemplo:  la  lí¬ 
nea  de  acción  “desarrollar  capacidades  de  liderazgo  en  los 
jóvenes”  formulada  como  dimensión  es  “capacidades  de 
liderazgo  juvenil”.  Para  abrirla  en  las  respectivas  varia¬ 
bles,  debemos  formular  la  pregunta:  ¿de  qué  depende  el 
desarrollo  o  fortalecimiento  de  las  capacidades  de  lideraz¬ 
go  de  los  jóvenes?  En  primer  lugar,  dependerá  del  grado 
en  que  los  miembros  del  equipo  del  proyecto  compartan 
el  significado  del  concepto  de  liderazgo,  de  modo  que  es¬ 
tén  de  acuerdo  en  cuáles  cualidades  deben  promover. 
También  dependerá  de  que  logren  identificar  a  aquellos 
jóvenes  con  esas  cualidades  potenciales,  manifiestas  o  no, 
para  asumir  roles  de  liderazgo;10  luego  dependerá  de  que 
formulen  y  realicen  capacitaciones  adecuadas  para  aque¬ 
llos  líderes  potenciales  o  reales  que  identificaron.  Poste¬ 
riormente  dependerá  de  que  esos  líderes  capacitados  sean 
incorporados  a  los  procesos  de  gestión  y  que  en  el  desem¬ 
peño  posterior  tengan  acompañamientos  y  asistencias 
técnicas  que  les  permitan  apropiarse  de  sus  roles  y  funcio¬ 
nes.  Luego  de  cumplido  ese  proceso  podrá  verificarse, 
con  alta  probabilidad,  que  los  jóvenes  líderes  identifica¬ 
dos,  capacitados  e  incorporados  cobren  protagonismo  en 
los  procesos  de  la  gestión  del  proyecto,  es  decir,  en  la  pro¬ 
vocación  de  los  cambios  deseables.  Sintéticamente,  las  va¬ 
riables  que  pueden  especificar  la  dimensión  de  nuestro 
ejemplo  serían  entonces: 


10.  Para  ese  proceso  de  identificación  de  líderes  es  preciso  haber  ase¬ 
gurado  lo  previo:  que  los  que  identifican  compartan  el  significado  del 
concepto  de  liderazgo. 
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•  consenso  acerca  del  concepto  de  liderazgo  entre  los 
actores  clave  del  proyecto; 

•  detección  de  los  jóvenes  líderes  existentes  (reales  o 
potenciales)  en  el  marco  del  proyecto; 

•  capacitación  adecuada  de  los  jóvenes  líderes  detecta¬ 
dos; 

•  incorporación  de  los  jóvenes  líderes  capacitados  a  los 
procesos  de  la  gestión; 

•  apoyo/acompañamiento  a  los  jóvenes  líderes  en  sus 
desempeños; 

•  protagonismo  de  los  jóvenes  líderes  en  los  procesos 
de  cambio. 

Se  hace  notar  que  la  última  de  las  variables  es  de  re¬ 
sultados:  el  fortalecimiento  de  los  líderes  se  evidenciará 
en  su  protagonismo  para  el  cambio. 

Reiteramos  que  para  identificar  esas  variables  fue  ne¬ 
cesario  acceder  al  conocimiento  actualmente  circulante 
sobre  el  desarrollo  de  las  capacidades  de  liderazgo  (Blej- 
mar  y  otros,  1998). 

Mencionamos  con  anterioridad  que  la  determinación 
de  las  variables  requiere  trabajo  conjunto  entre  los  que  eva¬ 
lúan  y  los  que  programan  y  ejecutan,  puesto  que  no  siem¬ 
pre  las  actividades  para  conseguir  un  objetivo  están  exhaus¬ 
tiva  o  correctamente  planteadas  en  el  plan  o  programa  tal 
como  se  lo  formuló  en  su  origen.  En  ese  trabajo  conjunto, 
el  evaluador  tiene  un  rol  de  facilitador  externo,  aquel  que 
mediante  las  preguntas  adecuadas  ayuda  a  desentrañar  qué 
es  lo  que  la  acción  se  propone  y  el  modo  en  que  se  preten¬ 
de  realizarla;  se  obtiene  así  un  subproducto  relevante  que 
es  la  reprogramación  o  mejoramiento  de  la  formulación  de 
actividades  (tal  como  se  aclaró  en  el  capítulo  1). 


ISO 


El  diseño  de  un  modelo  evaluativo 


Hay  casos  en  los  que  las  variables  incluidas  en  alguna 
dimensión  conservan  un  alto  nivel  de  abstracción,  por  lo 
cual  resulta  difícil  su  operacionalización;  pueden  enton¬ 
ces  incluirse  sub dimensiones.  Un  ejemplo  surge  de  la  pági¬ 
na  anterior:  la  capacitación  adecuada  de  los  jóvenes  líderes  de¬ 
tectados  tiene  como  variable  una  formulación  “alta”,  que 
es  posible  “bajar”  mediante  la  reiteración  de  la  pregunta 
“¿de  qué  depende  la  adecuada  capacitación  de  los  jóve¬ 
nes?”,  que  puede  responderse  con  la  siguiente  apertura 
en  variables  de  menor  nivel  de  abstracción,  es  decir, 
“  operacionalizables” . 

•  contenidos  curriculares; 

•  metodologías  pedagógicas  o  didácticas; 

•  perfiles  de  los  docentes  o  capacitadores; 

•  materiales  didácticos  utilizados; 

•  evaluaciones  efectuadas  sobre  habilidades,  capacida¬ 
des  y  destrezas  adquiridas. 

De  modo  que  la  capacitación  se  identificará  como  una 
subdimensión  de  la  dimensión  “ capacidades  de  liderazgo  ju¬ 
venil ”. 

Las  variables  se  operacionalizarán  mediante  el  indi¬ 
cador  o  los  indicadores  que  se  definan  como  apropiados 
en  cada  caso,  para  poder  apreciar  o  medir  la  variable  res¬ 
pectiva. 

Ya  se  han  hecho  alusiones  sobre  la  existencia  de  distin¬ 
tos  tipos  de  variables  e  indicadores:  de  estructuras  (de  in¬ 
sumos,  de  recursos),  de  procesos  (de  actividades,  de  tareas) 
y  de  resultados  (de  productos,  de  efectos,  de  impactos). 

A  continuación,  volcamos  algunos  ejemplos  de  lo  di¬ 
cho  en  forma  esquemática: 
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TIPOS  DE  VARIABLES 
Y/O  INDICADORES 

EJEMPLOS 

1.  De  estructuras 

Plantas  físicas;  equipamientos;  he¬ 
rramientas;  materiales;  plantel  de  re¬ 
cursos  humanos;  perfiles  requeridos, 
misiones  y  funciones;  reglamenta¬ 
ciones  y  normas;  sistema  de  infor¬ 
mación  y  protocolos  de  registros, 
etc. 

2.  De  procesos 

Actividades  de  capacitación,  de  co¬ 
municación  social,  de  asistencia  téc¬ 
nica,  de  encuentros  entre  actores,  de 
entrega  de  bienes  o  servicios;  talleres 
o  cursos  llevados  a  cabo;  campañas 
realizadas;  registro  de  actividades, 
etc. 

3.  De  resultados 

a)  de  productos 

Materiales  didácticos  producidos; 
documentos  elaborados;  responden- 
tes  a  convocatorias;  audiencias;  per¬ 
sonas  capacitadas;  cobertura  o  alcan¬ 
ce  logrado  con  las  actividades. 

b)  de  efectos 

Cambios  observables  en  los  destina¬ 
tarios  a  raíz  de  las  actividades  realiza¬ 
das.  Cambios  observables  en  las  es¬ 
tructuras  y  dinámicas  de  las  organiza¬ 
ciones  participantes  del  programa  o 
proyecto. 

c)  de  impactos 

Otros  cambios  observables  en  la  pro¬ 
pia  población  bajo  programa  en  mo¬ 
mentos  posteriores,  en  poblaciones 
más  amplias,  en  otros  contextos,  en 
maneras  de  trabajar  de  otras  organi¬ 
zaciones  no  intervinientes  de  forma 
directa,  en  las  políticas  públicas,  en 
las  concepciones  colectivas,  etc. 
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Del  esquema  previo  se  desprende  que  consideramos 
tres  tipos  diferentes  de  resultados:  productos,  efectos  e 
impactos;  a  su  vez,  cada  uno  implica  diferentes  formas  de 
relevamiento.  En  el  caso  de  los  productos,  se  podrán  eva¬ 
luar  a  partir  de  registros  y  evidencias  propios  del  progra¬ 
ma  o  proyecto  (listas  de  asistentes,  documentos  produci¬ 
dos,  estimaciones  de  oyentes,  etc.).  En  el  caso  de  los 
efectos,  también  se  podrán  apreciar  o  medir  sobre  la  ba¬ 
se  del  propio  programa  y  por  medio  de  los  propios  par¬ 
ticipantes  del  programa,  no  necesariamente  mediante  al¬ 
guien  especializado  y/o  externo.  En  el  caso  de  los  impac¬ 
tos,  suelen  realizarse  relevamientos  más  allá  del  propio 
programa  o  proyecto,  ya  que  se  incluyen  otros  contextos 
o  bien  momentos  posteriores  a  la  gestión,  y  para  ello  se 
contratan  especialistas  externos.11 

En  otras  palabras:  las  variables  y  los  indicadores  en¬ 
cuadrados  en  1,  2  y  3a  forman  parte  de  las  evaluaciones 
continuas,  concurrentes  o  moni  toreo;  en  el  caso  de  3  b,  se 
trata  de  recolecciones  específicas  que  se  realizan  en  ge¬ 
neral  en  momentos  intermedios  o  más  avanzados  de  la 
ejecución,  de  modo  de  permitir  ver  ciertos  cambios  que 
indicarán  si  el  programa  o  proyecto  está  orientándose 
hacia  la  dirección  deseada,  si  los  efectos  que  se  van  obte¬ 
niendo  son  acordes  con  lo  esperado,  o  si  vale  la  pena  in¬ 
troducir  ajustes  en  la  manera  de  hacer  las  cosas.  En  el  ca- 


1 1 .  Cabe  aclarar  que  otros  autores  diferencian  las  variables  de  resul¬ 
tados  según  los  plazos  temporales  a  que  hacen  referencia:  de  corto,  me¬ 
diano  o  largo  plazo;  en  el  último  caso,  de  los  impactos  o  resultados  de  lar¬ 
go  plazo,  se  requieren  diseños  evaluativos  sumamente  sofisticados,  de  se¬ 
guimiento  de  poblaciones  a  través  de  períodos  prolongados,  cuyo  costo  y 
esfuerzo  raramente  pueden  afrontarse,  de  modo  que  aquí  no  haremos  alu¬ 
sión  a  esos  casos. 
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so  de  3r,  suele  recogerse  la  información  al  finalizar  o  des¬ 
pués  de  un  tiempo  de  terminado  el  programa  o  proyec¬ 
to.  Lo  dicho  no  es  taxativo,  puesto  que  ciertos  impactos 
pueden  producirse  -y,  por  ende,  evaluarse-  cuando  aún 
no  finalizó  el  período  de  ejecución. 

En  cuanto  a  los  indicadores,  éstos  son  una  medida  o 
apreciación,  directa  o  indirecta,  de  un  evento,  una  con¬ 
dición,  una  situación  o  un  concepto.  Son  a  su  vez  varia¬ 
bles,  aunque  de  menor  nivel  de  abstracción,  observables 
o  medibles,  que  permiten  inferir  conclusiones  apreciati¬ 
vas  acerca  de  las  variables  correspondientes;  por  eso  se 
dice  que  especifican  las  variables  a  las  que  hacen  referencia. 
Pero  los  indicadores  merecen  un  ítem  aparte. 


Seleccionando  y  definiendo  indicadores 

Los  indicadores  merecen  un  ítem  propio  porque  mu¬ 
chos  profesionales  de  las  ciencias  sociales  consideran  que 
evaluar  es  posible  con  sólo  elegir  los  indicadores  adecua¬ 
dos  y  explicitar  con  qué  medios  se  recogerá  la  información 
respectiva.  Ciertos  instrumentos  de  planificación  o  pro¬ 
gramación  adoptados  por  las  agencias  de  financiamiento 
así  lo  sugieren  y  estimulan.12  Como  se  desprende  de  lo  ex¬ 
plicado  hasta  aquí,  los  indicadores  son  un  paso  muy  impor¬ 
tante  en  el  proceso  de  diseño  de  un  modelo  evaluativo,  pe¬ 
ro  no  el  único  ni  el  más  relevante;  los  pasos  previos  y  los 
que  le  siguen  son  de  tanta  o  mayor  relevancia  y  tan  o  más 
definitorios  que  aquél. 


12.  Nos  referimos  acá  al  conocido  Marco  Lógico,  que  procura  sinte¬ 
tizar  en  dos  columnas  -indicadores  y  medios  de  verificación-  la  evalua¬ 
ción  de  programas  complejos. 
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Puestos  en  su  lugar,  diremos  que  los  indicadores  per¬ 
miten  organizar  la  recolección  de  la  información,  me¬ 
diante  la  confección  de  instrumentos  o  protocolos  que 
facilitan  la  estandarización  requerida,  tanto  para  compa¬ 
raciones  en  diferentes  momentos  del  tiempo  como  para 
los  casos  en  que  existen  diversas  localizaciones  donde  se 
realiza  el  registro  o  recolección. 

Tomemos,  para  ejemplificar,  una  de  las  variables  del 
ejemplo  anterior:  Incorporación  de  los  líderes  capacitados  a  los 
procesos  de  la  gestión. 

Para  construir  los  indicadores  de  esa  variable  pode¬ 
mos  seleccionar  tres  procesos  que  se  consideren  clave  en 
el  respectivo  programa  o  proyecto: 

-  proceso  a:  construcción  de  las  agendas  de  las  reuniones 
de  programación  de  los  grupos  juveniles; 

-  proceso  b :  contactos  con  actores  institucionales  y  polí¬ 
ticos  locales; 

-  proceso  c:  elaboración  de  los  mensajes  comunicaciona- 
les  para  difundir  por  los  medios  masivos  locales. 

Luego  puede  diseñarse  una  tabla  como  la  siguiente: 


Procesos  clave 

Cantidad  de  líderes  capacitados 
e  incorporados 

Ninguno 

1  o2 

3  o  más 

Proceso  a 

Proceso  b 

Proceso  c 

TOTAL 

1 55 
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¿Cómo  expresar  en  palabras  ese  indicador  complejo? 
De  la  lectura  del  cuadro  surge  el  nombre:  “Cantidad  de 
líderes  capacitados  e  incorporados  en  los  procesos  a,  b  y 
c”.  ¿Cuál  es  el  valor  deseable  -el  estándar-  para  ese  in¬ 
dicador?  Para  responder  a  esa  pregunta  conviene  anali¬ 
zar  los  casilleros  de  la  línea  del  total.  Desde  ya,  no  es 
“ninguno”;  pero  ¿cómo  saber  si  la  respuesta  más  acepta¬ 
ble  es  “1  o  2”  o  “3  o  más”?  Eso  dependerá  de  la  canti¬ 
dad  total  de  líderes  que  hayan  sido  capacitados.  Si  se  ca¬ 
pacitaron  8  o  10  líderes,  el  haber  incorporado  a  1  o  2  pa¬ 
rece  bastante  aceptable,  mientras  que  si  se  capacitaron 
15  líderes,  parece  más  aceptable  3  o  más.  Por  otra  par¬ 
te,  concluimos  que  la  decisión  acerca  de  las  categorías  a 
abrir  para  nuestro  indicador  (cuáles  y  cuántas)  depende¬ 
rán  de  la  magnitud  del  universo  respectivo;  si  los  líderes 
capacitados  hubieran  sido  30,  las  categorías  elegidas  no 
serían  las  correctas  sino  que  hubiera  convenido  abrir  es¬ 
tas  otras:  ninguno,  la  7,  8al5yl6o  más.  La  cantidad 
de  categorías  dependerá  también  del  grado  de  detalle 
con  que  queramos  realizar  el  análisis  (aparte  de  lo  ya  di¬ 
cho  acerca  del  tamaño  del  universo). 

Una  alternativa,  tal  vez  más  sencilla,  para  plantear  es¬ 
te  indicador  es  la  que  sigue: 


Procesos  clave 

Cantidad  de  líderes 
capacitados 

%  de  líderes 
capacitados  que  se 
incorporaron 

Proceso  a 

Proceso  b 

Proceso  c 

TOTAL 
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Esta  forma,  que  puede  nombrarse  como  “Porcentaje 
de  líderes  capacitados  que  se  incorporaron  a  los  procesos 
a,  b  y  c”,  parece  más  aconsejable,  dado  que  los  porcenta¬ 
jes  independizan  relativamente  el  análisis  del  número  ab¬ 
soluto  de  capacitados.  Sin  embargo,  la  cifra  total  -el  uni¬ 
verso-  debe  ser  de  cierta  magnitud  para  poder  trabajar 
con  porcentajes.  Acá  también  es  necesario  explicitar  el 
rango  dentro  del  cual  los  porcentajes  adoptan  valores 
“deseables”  (¿25  %?,  ¿50  %?),  para  poder  emitir  enton¬ 
ces  un  juicio  apreciativo  a  partir  del  indicador. 

Aunque  resulte  ocioso  resaltarlo,  diremos  que  la  se¬ 
lección  de  los  procesos  a,  b  y  c  es  lo  que  da  el  verdadero 
significado  de  este  indicador;  si  ésos  no  fueran  procesos 
clave,  el  indicador  carecería  de  relevancia. 

Hay  otros  casos  en  los  que  los  indicadores  tendrán  es¬ 
tándares  prefijados  para  establecer  la  comparación,  como 
cuando  se  evalúa  rendimiento  escolar:  existen  pruebas  de 
nivel  que  estandarizan  los  grados  de  rendimiento  desea¬ 
dos  o  esperados  contra  los  que  se  compararán  los  real¬ 
mente  obtenidos  por  los  alumnos. 

Los  dos  ejemplos  de  indicadores  que  dimos  para  la  va¬ 
riable  incorporación  de  los  líderes  capacitados  a  los  procesos  de  la 
gestión ,  son  cuantificables,  o  sea,  expresables  en  cifras  ab¬ 
solutas  o  porcentuales.  Como  ya  explicamos  anterior¬ 
mente,  ese  tipo  de  indicadores  si  bien  es  muy  necesario, 
no  resulta  suficiente  para  comprender  y  explicar  cómo  se 
incorporan  los  líderes  a  los  procesos  de  la  gestión,  qué 
oportunidades  encuentran  y  con  qué  facilidades  lo  hacen 
o  bien  cuáles  obstáculos  se  lo  impiden  o  qué  factores  se  lo 
dificultan.  Para  mejorar  esa  comprensión  deben  procu¬ 
rarse  además  indicadores  cualitativos,  que  permitan 
“triangular”  los  anteriores.  Mediante  testimonios  de  los 
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propios  jóvenes  líderes  capacitados  pueden  obtenerse  in¬ 
dicadores  acerca  de  cómo  ocurrieron  (o  no  ocurrieron) 
sus  incorporaciones  a  los  procesos  a,  b  y  c,  la  “apertura” 
encontrada  para  su  ingreso,  las  dificultades  presentadas, 
el  sentimiento  de  pertenencia,  el  compromiso  con  la  ges¬ 
tión;  todos  constituirán  indicadores  relevantes  para  la 
emisión  de  un  juicio  acerca  de  esa  variable.  También  se¬ 
rán  importantes  los  testimonios  de  los  actores  adultos  re¬ 
levantes  para  responder  acerca  de  estas  cuestiones.  Es 
bueno  recordar  que  los  testimonios  no  surgirán  “espon¬ 
táneamente”  sino  como  respuestas  a  preguntas  previstas 
en  guías  de  entrevistas  o  pautas  de  reuniones  o  talleres. 

La  selección  de  indicadores  permite  definir  las  técni¬ 
cas  apropiadas  y  el  posterior  diseño  de  instrumentos  de 
recolección  de  información.  En  el  caso  del  ejemplo,  uno 
de  los  instrumentos  será  la  planilla  de  registro  de  asisten¬ 
cia  a  las  actividades  de  capacitación  y  la  técnica  será  el 
análisis  estadístico;  otro  instrumento  requerido  será  una 
pauta  para  el  seguimiento  de  los  capacitados  -o  un  cues¬ 
tionario  aplicable  a  ellos-  para  determinar  si  están  o  no 
incorporados  a  los  procesos  clave  antes  mencionados; 
asimismo,  como  se  expresó,  se  requerirán  guías  para  en¬ 
trevistas  o  pautas  para  talleres,  de  manera  de  recoger  tes¬ 
timonios  acerca  de  las  características  o  modos  de  incor¬ 
poración  de  los  jóvenes  a  esos  procesos. 

La  selección  de  indicadores  deberá  realizarse  tenien¬ 
do  en  cuenta  criterios  de  factibilidad  para  conseguir  la 
información  respectiva.  Asimismo,  es  necesario  que  éstos 
cumplan  con  los  requisitos  de  validez,  de  sensibilidad,  de 
especificidad  y  de  confiabilidad,  para  que  la  información 
resultante  sea  útil;  por  otra  parte,  se  contemplarán  aspec¬ 
tos  éticos  en  su  obtención  y  utilización. 
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Los  indicadores  que  se  elijan  podrán  ser  más  o  menos 
precisos,  según  la  disponibilidad  o  acceso  a  la  información 
requerida.  Utilizando  otro  ejemplo,  si  se  trata  de  un  pro¬ 
yecto  de  jóvenes  que,  entre  otros  temas,  aborda  el  del  tra¬ 
bajo  juvenil  -el  que  constituye  una  dimensión-,  una  varia¬ 
ble  de  resultados  en  esa  dimensión  se  referirá,  sin  duda,  a 
la  promoción  de  oportunidades  laborales  para  los  jóvenes.  Para 
especificar  esa  variable  pueden  proponerse  distintos  indi¬ 
cadores:  un  indicador  de  producto  será  la  cantidad  de  jóve¬ 
nes  que  asistieron  a  los  cursos  deformación  para  el  trabajo  que 
se  realizaron  en  el  marco  del  proyecto,  que  se  obtendrá 
mediante  las  listas  de  asistencia  que  llevan  los  docentes; 
un  indicador  de  efectos  será  la  proporción  de  jóvenes  asisten¬ 
tes  a  los  airsos  que  adquirieron  las  competencias  esperadas  para 
el  determinado  oficio ,  que  se  obtendrá  mediante  los  regis¬ 
tros  de  los  puntajes  alcanzados  por  los  alumnos  en  las 
pruebas  de  nivel  que  les  fueron  tomadas  por  sus  docentes 
durante  la  capacitación.  Otro  indicador,  más  preciso,  pe¬ 
ro  más  difícil  de  obtener,  es  la  proporción  de  jóvenes  que  asis¬ 
tieron  a  los  cursos  y  que  lograron  insertarse  laboralmente  en  ta¬ 
reas  relacionadas  con  la  capacitación  recibida ,  donde  ya  no 
basta  con  los  registros  propios  del  programa  sino  que  pa¬ 
ra  saber  si  lograron  inserción  laboral  en  puestos  afines 
con  la  capacitación  realizada,  habrá  que  efectuar  un  segui¬ 
miento  de  los  asistentes  a  los  cursos  una  vez  que  los  ter¬ 
minaron  y  ya  estén  fuera  del  programa.  Los  mencionados 
constituyen  indicadores  expresados  de  forma  cuantitativa, 
pero  también  habrá  que  recoger  otros  que  se  expresen 
cualitativamente,  tales  como  confoimidad  de  los  jóvenes  con 
la  manera  en  que  se  brindan  los  cursos  (de  proceso),  mejora¬ 
miento  de  la  autoestima  en  los  jóvenes  capacitados  (de  resulta¬ 
dos),  cambios  en  los  modos  de  vincularse  entre  pares  (de  resul- 
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tados)  o  importancia  de  los  cursos  a  los  que  asistieron,  tanto 
para  sus  actuales  inserciones  en  el  mercado  laboral  como 
para  mejorar  la  situación  en  la  que  se  encuentran  sus  fa¬ 
milias  (de  resultados).  Ello  podrá  hacerse  mediante  los 
testimonios  de  los  propios  jóvenes,  por  las  opiniones  de 
los  coordinadores  de  los  cursos  y  de  los  familiares  u  otros 
adultos  significativos. 

Pese  a  que  sabemos  las  dificultades  que  tiene  cumplir 
con  todos  los  requisitos  para  elegir  buenos  indicadores, 
el  esquema  que  sigue  resume  las  principales  característi¬ 
cas  que  deben  reunir  idealmente. 


VALIDEZ  El  indicador  debe  hacer  referencia  a 

aquello  que  realmente  procura  medir 
o  apreciar. 

CONFIABILIDAD  Ante  diferentes  mediciones  o  recolec¬ 
ciones  efectuadas  en  las  mismas  cir¬ 
cunstancias  en  las  mismas  poblaciones 
y  al  mismo  tiempo,  el  valor  del  indi¬ 
cador  será  el  mismo.  En  el  caso  de  in¬ 
dicadores  cualitativos,  expresados 
verbalmente,  dicha  expresión  verbal 
preservará  el  sentido  de  lo  declarado, 
no  lo  distorsionará. 


ESPECIFICIDAD  Debe  reflejar  sólo  los  cambios  en  la 

cuestión  o  factor  en  análisis,  y  no 
otros. 


SENSIBILIDAD  Debe  ser  capaz  de  registrar  los  cam¬ 

bios  que  se  producen  en  la  cuestión  o 
factor  en  análisis,  por  más  leves  que 
sean. 


REPRESENTATIVIDAD  Cubre  todas  las  cuestiones  y  a  los  indi¬ 
viduos  que  se  espera  cubrir. 
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CLARIDAD 

Debe  ser  simple  y  fácil  de  interpretar, 
no  ambiguo. 

ACCESIBILIDAD 

Los  datos  a  recoger  para  su  interpreta¬ 
ción  deben  ser  de  fácil  disponibilidad. 

UTILIDAD 

Los  usuarios  deben  percibir  la  utilidad 
del  indicador  como  un  “marcador”  de 
progreso  hacia  los  objetivos  o  de  logro 
de  resultados  intermedios  o  finales. 

ÉTICA 

Tanto  la  recolección  de  información  co¬ 
mo  su  procesamiento  y  difusión  res¬ 
guardarán  los  derechos  de  las  personas 
al  anonimato  y  a  elegir  si  dar  o  no  la  in¬ 
formación  (consentimiento  informado). 

SINERGIA 

El  indicador  podrá  especificar  o  refe¬ 
rirse  a  más  de  una  variable  al  mismo 
tiempo. 

COSTO 

La  recolección  de  la  información  y  el 
procesamiento  posterior  es  razonable 
y  posible  en  función  del  presupuesto 
disponible  y  la  utilidad  esperada  (así 
como  de  su  sinergia). 

REPLICABILIDAD 

No  es  único  para  un  proyecto,  sino 
que  puede  ser  útil  para  otros  proyectos 
en  otras  localizaciones;  debe  permitir 
ulteriores  comparaciones. 

Las  técnicas  y  las  fuentes 

En  cada  caso  se  deben  detallar  las  técnicas  y  los  pro¬ 
cedimientos  para  la  medición  u  observación,  y  se  especi¬ 
ficarán  los  instrumentos  requeridos,  para  poder  emitir  el 
juicio  valorativo  fundamentado  sobre  la  base  de  la  infor¬ 
mación  obtenida. 
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Es  probable  que  se  requiera  implementar  registros 
adecuados  para  la  evaluación,  dado  que  los  que  se  llevan 
regularmente  en  las  instituciones  u  organizaciones  no 
siempre  satisfacen  las  necesidades  evaluativas.  Asimismo, 
es  recomendable  que  se  realicen  algunos  estudios  o  rele- 
vamientos  ad  hoc  en  momentos  determinados,  como  en¬ 
cuestas  a  los  destinatarios  o  beneficiarios,  entrevistas  a 
los  actores  significativos  en  el  nivel  operativo,  solicitudes 
de  informes  especiales  a  los  gerentes,  etc. 

Una  de  las  razones  de  diseñar  el  modelo  evaluativo 
tempranamente,  aun  antes  de  comenzar  la  ejecución  del 
programa  o  proyecto,  es  justamente  la  de  desarrollar  los 
instrumentos  y  mecanismos  de  registro,  de  modo  tal  que 
formen  parte  de  las  tareas  propias  de  los  equipos  que  eje¬ 
cutan  las  actividades;  es  decir  que  la  recolección  de  infor¬ 
mación  para  la  evaluación  constituye  una  más  de  las  ru¬ 
tinas  propias  del  programa  o  proyecto. 

Reiteramos  que  los  instrumentos  deberán  haber  sido 
previamente  puestos  a  prueba,  mediante  adecuados  pre¬ 
test  o  pruebas  piloto. 


Las  preguntas  orientadoras 

En  función  de  nuestra  concepción  de  la  evaluación  co¬ 
mo  una  instancia  de  enseñanza/aprendizaje,  es  el  método 
socrático  el  que  sigue  siendo,  a  nuestro  entender,  el  más 
indicado  desde  el  punto  de  vista  pedagógico:  es  haciendo 
las  preguntas  correctas  y  esforzándose  por  responderlas 
con  razonamientos,  fundamentos  y  evidencias  como  se 
llega  a  aprender  la  esencia  y  el  funcionamiento  de  las  co¬ 
sas.  Es  cierto  que  esa  postura  parece  hoy  día  muy  racio¬ 
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nalista;  “quien  sepa  lo  que  es  bueno,  también  hará  el 
bien”,  decía  Sócrates,13  dando  a  entender  que  los  conoci¬ 
mientos  correctos  conducen  a  acciones  correctas;  si  bien 
hoy  desconfiamos  de  esa  aseveración,  sí  podemos  afirmar 
-por  la  contraria-  que  el  desconocimiento  suele  llevar  a 
acciones  incorrectas.  La  razón  -cartesiana-  no  es  el  úni¬ 
co  camino  ni  alcanza  para  el  conocimiento  correcto,  ni 
éste  basta  para  actuar  bien;  pero  no  puede  negarse  que  la 
razón  es  necesaria;  para  razonar  debemos  plantearnos  las 
preguntas  correctas  y  encontrar  las  respuestas  mejor  fun¬ 
damentadas,  con  las  mejores  razones.  Claro  está  que  para 
actuar  necesitamos,  además  del  conocimiento  apropiado, 
la  motivación  y  los  valores  éticos  de  sustento. 

La  claridad  en  la  determinación  de  las  dimensiones, 
las  variables  y  los  respectivos  indicadores  permite  formu¬ 
lar  las  preguntas  correctas,  que  podrán  ser  respondidas 
mediante  la  recolección  de  la  información  apropiada;  el 
análisis  de  las  respuestas  a  tales  preguntas  permitirá  la 
emisión  de  los  juicios  valorativos  fundamentados. 

En  realidad  tales  preguntas  orientadoras  se  refieren  a 
las  variables  y  a  cada  uno  de  sus  indicadores;  y  lo  cierto 
es  que  existe  un  interjuego  en  la  formulación:  de  las  pre¬ 
guntas  se  deducen  variables  e  indicadores  y  viceversa,  de 
las  variables  e  indicadores  emergen  las  preguntas,  en  un 
múltiple  proceso  d tfeedback. 

Podríamos  arriesgar  (aunque  es  materia  opinable)  que 
la  formulación  de  las  preguntas  se  hace  mediante  un  pro¬ 
ceso  que  va  desde  lo  más  general  a  lo  particular  o  especí¬ 
fico;  o  sea,  se  va  siguiendo  el  “árbol  lógico”  en  que  se 
abrió  cada  dimensión  y  cada  variable.  En  el  ejemplo  que 


13.  Platón,  Apología  de  Sócrates ,  Buenos  Aires,  EUDEBA,  1984. 
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veníamos  desmenuzando,  las  primeras  preguntas,  de  ca¬ 
rácter  más  general,  son:  ¿se  desarrollaron  estrategias  y 
acciones  para  el  fortalecimiento  de  las  capacidades  de  li¬ 
derazgo  de  los  jóvenes?,  ¿cuáles? 

Una  pregunta  de  carácter  menos  general,  con  referen¬ 
cia  a  la  variable  que  usamos  para  ejemplificar  indicadores, 
es:  ¿se  incorporaron  los  líderes  juveniles  que  fueron  capa¬ 
citados  a  los  procesos  de  la  gestión  del  proyecto?,  y  aún 
podemos  especificar  más:  ¿cuántos  líderes  juveniles  capa¬ 
citados  se  incorporaron  a  los  procesos  a,  b  y  c? 

Si  bien  alguien  puede  decir  que  con  sólo  definir  las  va¬ 
riables  y  los  indicadores  ya  sería  suficiente,  las  preguntas 
orientadoras  tienen  como  utilidad  la  de  constituirse  en  una 
“ayuda  memoria”  para  los  que  tienen  responsabilidades  en 
los  diferentes  momentos  del  proceso  de  aplicación  evalua- 
tiva;  asimismo,  sirven  de  guía  para  escribir  el  informe  pues, 
como  se  expresará  más  adelante,  éste  deberá  contener  res¬ 
puestas  apropiadas  a  esas  preguntas  orientadoras. 


La  matriz  síntesis  del  modelo  evaluativo 

Es  posible  esquematizar  los  pasos  descriptos  hasta  aquí 
en  una  matriz  que  sintetizará  el  modelo  evaluativo;  los  tí¬ 
tulos  de  las  columnas  de  esa  matriz  son  los  siguientes: 

1.  Dimensiones. 

2.  Variables  para  cada  dimensión. 

3.  Indicadores  para  cada  variable. 

4.  Técnicas  y  fuentes  para  obtención  de  la  información. 

5.  Principales  preguntas  evalúa távas. 
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Aunque  no  es  imprescindible,  se  podrá  incluir  una  co¬ 
lumna  más,  consignando  la  periodicidad  sugerida  para  la 
recolección  de  la  información  relacionada  con  cada  indi¬ 
cador  o  variable. 

El  objeto  de  esa  matriz  es  dar  a  entender,  de  forma 
sintética  e  interrelacionada,  cuáles  son  los  aspectos  a  eva¬ 
luar,  cómo  (y  cada  cuánto)  se  medirán  o  apreciarán  y  qué 
respuestas  deberá  dar,  como  mínimo,  el  informe  evalua¬ 
tivo.  Las  definiciones  y  explicitaciones  acerca  de  esos  as¬ 
pectos  -dimensiones,  variables  e  indicadores,  por  un  la¬ 
do  y  técnicas  a  utilizar  y  fuentes,  por  otro-  deberán  figu¬ 
rar  de  forma  más  amplia  y  comprensible  en  el  capítulo 
conceptual  y  metodológico  que  se  incluya  en  el  modelo 
evaluativo. 

En  el  anexo  se  incluye  un  ejemplo  de  matriz  síntesis 
para  algunas  dimensiones  de  un  modelo  evaluativo. 


El  instrumento  valorativo: 
un  modo  de  cuantificar  lo  cualitativo 

La  experiencia  nos  ha  demostrado  que  es  de  utilidad 
la  elaboración  de  un  sencillo  y  sintético  instrumento  va¬ 
lorativo,  que  formará  parte  del  modelo  evaluativo  y  me¬ 
diante  el  cual  se  podrán  otorgar  puntajes  a  cada  una  de 
las  variables  y  dimensiones,  según  escalas  sencillas  de  no 
más  de  cuatro  o  cinco  puntos.  Este  se  podrá  cargar  en 
una  base  de  datos  y  así  se  facilitarán  las  actividades  de 
monitoreo  o  el  seguimiento  sistemático,  para  permitir 
comparaciones  en  diferentes  momentos  del  período  de 
ejecución  y,  en  el  caso  de  los  clusters,  también  compara¬ 
ciones  entre  proyectos. 
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Mediante  el  instrumento  valorativo  se  pueden  atri¬ 
buir  cuantificaciones  a  las  apreciaciones  cualitativas, 
asignando  valores  en  puntos  de  escalas,  lo  cual  permite 
sintetizar  los  hallazgos  y  hacer  comparaciones  del  tipo 
“mejor/peor”,  a  través  del  tiempo  (de  cada  proyecto 
contra  sí  mismo  en  la  serie  de  las  diversas  aplicaciones 
evaluativas)  y  entre  las  distintas  localizaciones,  es  decir, 
entre  los  diferentes  proyectos  incluidos  en  un  mismo 
programa  o  cluster.  En  algunos  casos,  los  datos  son  es¬ 
trictamente  cuantitativos,  por  ejemplo:  cantidad  de  ac¬ 
tividades  realizadas,  número  de  personas  cubiertas  por 
las  diferentes  actividades,  porcentaje  de  ejecución  pre¬ 
supuestaria,  estructura  porcentual  de  fuentes  de  finan- 
ciamiento,  entre  otros  muchos  ejemplos.  Las  compara¬ 
ciones  en  tales  casos  son  del  tipo  “mayor/menor”, 
“más/menos”,  cercanos  o  alejados  de  estándares  prede¬ 
terminados. 

La  atribución  de  valoración  a  cada  variable  y  a  cada  di¬ 
mensión  en  el  instrumento  valorativo  se  realizará  por  la 
combinatoria  de  las  valoraciones  otorgadas  a  los  respec¬ 
tivos  indicadores  (en  el  caso  de  las  variables)  y  por  la 
combinatoria  de  las  valoraciones  de  las  respectivas  varia¬ 
bles  (en  el  caso  de  las  dimensiones).  Esas  combinatorias 
no  serán  exclusivamente  aritméticas  por  dos  razones:  la 
primera,  porque  no  todos  los  indicadores  de  una  misma 
variable  tienen  por  qué  tener  igual  cantidad  de  catego¬ 
rías;  algunos  pueden  tener  dos  (por  ejemplo:  sí/no),  otros 
tres  (por  ejemplo:  mucho,  poco,  nada)  y  otros  más  de  tres 
(como  en  el  ejemplo  que  se  da  más  adelante);  y  la  segun¬ 
da  razón,  porque  además  de  la  atribución  de  valoraciones 
a  cada  indicador,  cada  actor  que  evalúa  tendrá  una  apre¬ 
ciación  global  acerca  de  cada  variable  como  un  todo.  Si 


1 66 


El  diseño  de  un  modelo  evaluativo 

bien  deberá  analizar  esas  apreciaciones  globales  en  fun¬ 
ción  de  las  valoraciones  parciales  de  los  indicadores,  po¬ 
drán  existir  diferencias  (que  requerirán  explicación).  Sólo 
entonces  adjudicará  valoración  a  las  variables,  en  función 
de  una  “escala  síntesis”  para  la  que  se  sugieren  las  si¬ 
guientes  cuatro  categorías: 

1.  Insatisfactorio. 

2.  Poco  Satisfactorio. 

3.  Satisfactorio. 

4.  Muy  Satisfactorio. 

El  mismo  procedimiento  se  aplica  a  la  valoración  de 
las  dimensiones  a  partir  de  sus  respectivas  variables. 

Es  importante  caracterizar  las  categorías  en  cada  una 
de  esas  escalas,  es  decir  explicitar  los  criterios  para  adju¬ 
dicar  uno  u  otro  valor  en  los  puntos  de  esas  escalas 
construidas  para  las  variables  y  dimensiones;  tales  crite¬ 
rios  marcarán  la  direccionalidad  deseable  de  una  deter¬ 
minada  cuestión  (variable  o  dimensión)  a  lo  largo  del 
tiempo  de  la  gestión;  eso  pondrá  en  evidencia  cuál  es  la 
“imagen  objetivo”,  el  horizonte  deseado  para  la  particu¬ 
lar  variable  o  dimensión.  Las  escalas,  entonces,  podrán 
reflejar  el  proceso  evolutivo  esperado  de  la  acción  res¬ 
pectiva.  Allí  radica  la  importancia  sintetizadora  de  este 
instrumento. 

El  otorgamiento  de  cuantificaciones  en  el  instrumen¬ 
to  de  valoración  será  posible  mediante  las  descripciones, 
apreciaciones  y  explicaciones  volcadas  en  un  informe  que 
se  escribirá  previamente;  asimismo,  ésa  debería  ser  una 
tarea  conjunta  de  los  miembros  del  equipo  que  realiza  la 
evaluación,  en  cada  uno  de  sus  niveles,  de  modo  que  las 
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valoraciones  en  las  respectivas  escalas  sean  producto  de 
discusiones  y  consensos. 

Se  desprende  entonces  que  el  instrumento  valorativo 
permitirá  una  visión  rápida  y  a  la  vez  facilitará  síntesis  y 
comparaciones,  mediante  cuadros  y  gráficos;  pero  si  bien 
es  necesario,  no  resulta  suficiente  para  una  comprensión 
cabal  de  lo  que  sucede  en  los  proyectos  o  programas,  si¬ 
no  que  se  requieren  además  las  descripciones  y  explica¬ 
ciones  que  brinda  el  informe  en  prosa  acorde  con  los  ca¬ 
pítulos  del  modelo. 

Insistimos  en  la  importancia  subsidiaria  del  instru¬ 
mento  valorativo  respecto  del  informe,  pues  hemos  parti¬ 
cipado  de  alguna  evaluación  donde  se  entronó  a  tal  ins¬ 
trumento  como  el  más  relevante  en  el  proceso  metodoló¬ 
gico,  aunque  contradictoriamente  se  hizo  rutinaria  y  se 
trivializó  la  tarea  conjunta  de  adjudicación  de  puntajes  en 
las  escalas  por  parte  del  equipo;  al  considerar  el  proceso 
evaluativo  como  un  método  para  asignar  puntajes  a  los 
proyectos,  se  relegó  el  significado  de  la  evaluación  como 
instancia  de  aprendizaje  que  acá  propugnamos,  lo  cual 
quitó  riqueza  a  todo  el  proceso  y  contribuyó  a  producir 
conflictos  entre  los  miembros  del  equipo  y  otros  actores, 
muy  difíciles  de  resolver. 

Más  allá  de  todas  esas  advertencias,  la  cuantificación 
efectuada  a  través  del  instrumento  valorativo  descripto 
tiene  la  virtud  de  satisfacer  las  inquietudes  cuantitativis- 
tas  y  sintetizadoras  que  suelen  tener  las  agencias  de  coo¬ 
peración  y  entidades  nacionales  o  externas  de  financia- 
miento. 

A  modo  de  ejemplo  se  anexa  un  instrumento  valorati¬ 
vo  acorde  con  la  matriz  síntesis,  también  anexa. 
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_ CAPÍTULO  6 

La  aplicación  del  modelo  evaluativo 
y  la  diseminación  de  los  resultados 


PF:  ¿Son  versos  lo  que  queréis  escribir? 

J:  No,  no...  nada  de  versos... 

PF:  ¿Prosa,  tan  sólo? 

J:  No,  no  quiero  ni  verso  ni  prosa. 

PF:  Ha  de  ser  necesariamente  una  cosa  u  otra. 

J:  ¿Por  qué? 

PF:  Por  la  razón ,  señor,  de  que,  para  expresarse,  no  hay  más  que 
la  prosa  o  los  versos. 

[-] 

J:  Y  como  uno  habla,  ¿qué  es  ello? 

PF:  Prosa. 

[A 

J:  ¡A  fe  mía!  Hace  más  de  cuarenta  años  que  hablo  en  prosa  sin 
saberlo;  os  quedo  muy  agradecido  por  habérmelo  enseñado. 

Moliere1 


Transferencia  del  modelo  evaluativo  y  ajustes 

Para  la  aplicación  del  modelo  evaluativo  deberá  contem¬ 
plarse  previamente  una  etapa  de  capacitación  o  transferencia 
de  éste  a  aquellos  actores  que  asumirán  responsabilidades 
durante  su  aplicación.  Conviene  realizar  esa  etapa  antes  de 
cerrar  la  formulación  del  modelo,  para  dar  lugar  a  ajustes 
mediante  las  intervenciones  de  quienes  lo  utilizarán. 

Por  más  que  se  hayan  realizado  exhaustivas  capacita¬ 
ciones  y  simulaciones  de  forma  previa  a  la  aplicación,  ha- 


1.  Moliere  (1670):  “El  burgués  gentilhombre”,  en  Obras  Completas, 
Madrid,  Aguilar,  1945,  acto  II.  PF  es  el  profesor  de  filosofía  yj  es  Jour- 
dain,  el  burgués  ennoblecido. 
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brá  de  tenerse  en  cuenta  la  necesidad  de  asistencia  técnica 
por  parte  de  los  metodólogos  para  aquellos  que  tienen 
responsabilidades  en  relevar  información  y  llenar  formu¬ 
larios,  protocolos,  coordinar  talleres,  armar  informes  par¬ 
ciales,  etc. 

Dado  que  los  programas  o  proyectos  tienen  una  du¬ 
ración  considerable  (entre  dos  y  cuatro  años,  por  lo  ge¬ 
neral),  debería  aplicarse  el  modelo  evaluativo  con  una 
frecuencia  semestral,  aunque  ciertas  informaciones  re¬ 
lacionadas  con  el  moni  toreo,  tal  como  la  ejecución  fi¬ 
nanciera,  la  cobertura  de  beneficiarios,  la  cantidad  de 
servicios  o  prestaciones  brindados,  entre  otras,  podrán 
requerir  mayor  frecuencia  (bimensual  o  trimestral). 
Otras  cuestiones  que  requieren  mayor  esfuerzo  de  rele- 
vamientos  especiales  o  en  las  que  no  son  esperables 
cambios  en  lapsos  menores,  podrán  hacerse  de  forma 
anual.  La  primera  aplicación  del  modelo  evaluativo  de¬ 
bería  ser  “completa”,  ya  que  podrá  constituir  su  puesta 
a  prueba,  luego  de  la  cual  se  introducirán  nuevos  ajus¬ 
tes,  acordes  con  las  dificultades  observadas  en  la  prácti¬ 
ca  y  las  sugerencias  que  formulen  aquellos  que  intervi¬ 
nieron  en  la  primera  aplicación. 


Los  énfasis  o  focos  en  los  distintos  momentos. 
Inclusión  de  ajustes 

Al  estar  integrado  por  dimensiones,  el  modelo  evalua¬ 
tivo  adquiere  la  estructura  modular  a  la  que  aludíamos  en 
el  capítulo  anterior;  dónde  se  colocará  el  énfasis  de  cada 
aplicación  dependerá  de  los  momentos  de  evolución  de  la 
gestión  de  los  programas  o  proyectos.  Parece  lógico  pen¬ 
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sar  que,  en  un  primer  período,  la  evaluación  pondrá  énfa¬ 
sis  en  los  aspectos  de  implantación  y  de  instalación  de  es¬ 
tructuras,  como  son  las  construcciones  o  remodelaciones 
de  plantas  físicas,  la  adquisición  de  equipamientos  e  insu¬ 
mos,  la  integración  y  capacitación  de  los  equipos  técnicos, 
etc.  En  un  momento  posterior,  pero  intermedio,  el  énfasis 
será  colocado  más  en  el  desarrollo  de  los  procesos  sustan¬ 
tivos,  en  los  modos  de  trabajo  y  funcionamiento  de  las  ac¬ 
tividades,  en  los  estilos  de  gerencia  que  se  adopten.  En  un 
último  período,  el  énfasis  se  pondrá  más  en  los  resultados 
o  cambios  producidos  debido  a  la  gestión  del  programa  o 
proyecto,  así  como  en  la  eficacia  de  las  estrategias  que  se 
desplieguen  para  lograr  la  futura  sustentabilidad2  social  y 
económica,  una  vez  que  acabe  el  período  “subsidiado”  de 
la  gestión. 

Cuando  hablamos  de  énfasis,  queremos  significar  que 
si  bien  a  lo  largo  de  todo  el  período  de  la  gestión  se  ten¬ 
drá  en  cuenta  el  modelo  evaluativo  completo  (con  todas 
sus  dimensiones  y  variables),  en  ciertos  momentos  se  co¬ 
locará  una  lente  de  aumento  en  algunas  cuestiones  más 
que  en  otras  para  poder  realizar  un  análisis  de  mayor  de¬ 
talle,  poniendo  foco  en  esos  aspectos  más  que  en  los  res¬ 
tantes.  Es  necesario  entonces  que  en  cada  aplicación,  de 
acuerdo  con  el  momento  en  que  se  realice,  se  expliciten 
claramente  cuáles  son  los  focos. 

A  raíz  de  esos  énfasis  o  focos  sobre  ciertas  dimensio¬ 
nes  o  variables  más  que  en  las  restantes,  habrá  que  revi¬ 
sar  sus  aperturas  originarias  (en  variables  e  indicadores 


2.  Algunas  agencias  adoptan  el  término  “institucionalización”  para 
nombrar  la  sustentabilidad  social  y  económica  futura  de  los  programas  o 
proyectos. 
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respectivamente),  pues  seguramente  será  necesario  am¬ 
pliarlas,  hilando  más  fino,  con  mayor  grado  de  detalle, 
planteando  más  indicadores,  formulando  preguntas  más 
específicas,  que  calen  más  profundo.  Eso  suele  suceder 
también  debido  al  paso  del  tiempo,  al  avance  de  los  pro¬ 
cesos  de  ejecución  y  los  aprendizajes  que  conllevan,  so¬ 
bre  todo  en  los  proyectos  o  programas  de  tres  o  más  años 
de  duración  y  cuyos  modelos  de  evaluación  fueron  for¬ 
mulados  a  priori  o  muy  al  inicio  de  la  ejecución.  Así  co¬ 
mo  son  necesarias  reprogramaciones  de  la  acción,  tam¬ 
bién  se  requieren  reformulaciones  o  ajustes  del  modelo 
evaluativo  a  lo  largo  del  tiempo. 

En  el  capítulo  anterior,  cuando  nos  referimos  a  los 
atributos  del  modelo,  dijimos  que  era  aconsejable  dise¬ 
ñarlo  a  la  par  de  la  formulación  programática  e  iniciar  la 
aplicación  de  forma  casi  paralela  a  la  ejecución;  pero 
aclaramos  que  si  bien  eso  es  deseable,  no  siempre  es  po¬ 
sible.  Con  demasiada  frecuencia,  los  evaluadores  somos 
convocados  cuando  las  gestiones  de  los  proyectos  finali¬ 
zaron  o  están  por  finalizar.  Lo  dicho  para  la  realización 
del  diseño  de  la  evaluación,  en  trabajo  conjunto  con 
quienes  lo  formularon  y/o  ejecutaron,  seguirá  siendo  vá¬ 
lido  en  estas  situaciones.  Los  focos  también  en  esos  ca¬ 
sos  estarán  en  los  resultados  o  efectos,  dado  que  se  trata 
de  evaluaciones  al  final  de  la  ejecución,  pero  para  enten¬ 
der  y  explicar  cómo  se  llegó  a  tales  resultados  o  efectos 
deberán  reconstruirse  los  procesos  desarrollados  y  las 
estructuras  implantadas  y  utilizadas.  La  índole  de  las  di¬ 
mensiones,  las  variables  y  los  indicadores  no  será  sustan¬ 
cialmente  diferente,  sólo  variarán  los  tiempos  de  verbo: 
no  se  hablará  ya  en  clave  de  futuro  o  presente  sino  más 
bien  en  tiempo  pasado;  no  se  hablará  de  la  direccionali- 
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dad  deseable  sino  de  las  decisiones  que  fueron  tomadas 
sobre  estrategias  que  posibilitaron  obtener  tales  o  cuales 
resultados. 


La  participación  de  los  actores 

La  participación  de  los  actores  que  se  desempeñan  en 
diferentes  roles  y  niveles  de  la  acción,  particularmente 
aquellos  que  están  en  los  niveles  operativos,  es  decir,  el 
“lugar  donde  se  hacen  las  cosas”,  es  relevante  por  tres  ti¬ 
pos  de  motivos. 

•  Éticos  o  axiológicos:  porque  todos  aquellos  que  tienen 
intereses  o  se  involucran  en  un  particular  campo  de 
acción  tienen  derecho  a  opinar  sobre  todo  porque 
puede  haber  aspectos  que  los  afecten  de  forma  per¬ 
sonal. 

•  Epistemológicos:  porque  cada  tipo  de  actor,  de  acuerdo 
con  su  posición,  tiene  una  particular  mirada,  un  espe¬ 
cial  conocimiento  acerca  de  cuáles  son  los  factores  re¬ 
levantes  que  inciden  en  los  resultados  de  la  acción  y 
de  la  realidad  que  se  procura  conocer  o  evaluar,  de 
modo  que  reunir  todos  esos  saberes  implicará  un  más 
amplio  y  profundo  conocimiento. 

•  Pragmáticos  o  de  eficacia:  porque  si  los  actores  se  invo¬ 
lucran  desde  la  misma  construcción  del  modelo,  se 
verán  más  comprometidos  luego  en  el  momento  de  la 
aplicación,  contribuyendo  así  a  su  viabilidad. 

Es  fácil  detectar  a  quienes  deben  participar  cuando 
el  modelo  evaluativo  se  formula  después  que  ha  comen- 
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zado  la  ejecución  del  programa  o  proyecto.  Pero  si  el 
modelo  se  diseña  a  priori,  un  requisito  será  otorgarle 
flexibilidad  para  que  puedan  introducirse  ajustes  en  el 
momento  de  la  ejecución,  cuando  los  actores  del  nivel 
operativo  se  incorporen. 

Dado  que  esos  actores  -tanto  los  que  programan  co¬ 
mo  los  que  conducen  y  los  que  operan,  así  como  los  des¬ 
tinatarios  de  las  acciones-  no  tienen  por  qué  ser  conoce¬ 
dores  de  las  disciplinas  metodológicas,  lo  más  sencillo  es 
involucrarlos  en  la  determinación  de  los  grandes  ejes  que 
debiera  considerar  la  evaluación  y,  a  partir  de  ahí,  solici¬ 
tarles  que  planteen  las  preguntas  que  en  cada  uno  de  esos 
ejes  les  parecen  relevantes.  Luego,  los  metodólogos/eva- 
luadores  podrán  traducir  los  ejes  en  dimensiones  y  las 
preguntas  en  variables  e  indicadores.3  Es  recomendable, 
luego  de  pasar  todo  por  el  tamiz  metodológico,  realizar 
una  segunda  vuelta  con  los  actores  para  someter  a  crítica 
lo  diseñado.  Seguramente  ese  proceso  implicará  varias 
idas  y  vueltas.  La  dinámica  de  taller  es  la  más  efectiva  pa¬ 
ra  tales  tareas.4 

Lo  dicho  es  válido  para  la  etapa  del  diseño,  pero  cabe 
además  señalar  que  una  idea  relevante,  que  está  por  de¬ 
trás  de  todo  lo  expuesto  hasta  aquí,  es  que  un  mismo  mo¬ 
delo  evaluativo  sea  aplicado  por  diferentes  actores  ubica¬ 
dos  en  los  diferentes  niveles  de  la  gestión  de  los  progra¬ 
mas  o  proyectos. 


3.  Los  metodólogos/evaluadores  deberán  esforzarse  por  evitar  las 
“traiciones”  de  las  que  son  acusados  los  traductores  ( traduttore ,  tradittore ), 
respetando  fielmente  las  intenciones  de  los  que  formularon  las  preguntas. 
La  revisión  posterior  por  parte  de  los  actores  preservará  tales  cuestiones. 

4.  A  propósito  de  técnicas,  véase  el  capítulo  4. 
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Para  elegir  un  ejemplo  bastante  complejo,  considere¬ 
mos  un  programa  nacional  que  se  concreta  en  proyectos 
que  se  ejecutan  en  diferentes  provincias/estados,  a  cargo 
de  organizaciones  de  la  sociedad  civil  -OSC-,  con  un  ge¬ 
rente  o  coordinador  a  cargo  de  los  subprogramas  en  ca¬ 
da  una  de  las  provincias/estados;5  el  modelo  podrá  ser 
aplicado  a  modo  de  autoevaluación  o  bien  de  evaluación 
interna,  según  los  casos,  por  parte  de  los  miembros  de  las 
OSC  y  los  equipos  técnicos  que  ejecutan  los  proyectos; 
también  lo  aplicará  el  gerente,  a  modo  de  una  cuasi  eva¬ 
luación  externa  respecto  de  cada  proyecto6  y  como  au¬ 
toevaluación  respecto  a  cuestiones  del  subprograma  a  su 
cargo;  y  finalmente  será  utilizado  por  la  coordinación 
nacional  del  programa.  Los  tres  tipos  de  actores,  de  los 
niveles  local,  provincial/estadual  y  nacional,  comparten 
el  mismo  modelo  evaluativo,  con  las  mismas  dimensio¬ 
nes,  variables  e  indicadores  y  deben  dar  respuesta  como 
mínimo  a  las  mismas  preguntas  orientadoras;  segura¬ 
mente  aplicarán  diferentes  técnicas  en  cada  uno  de  esos 
niveles  y  ciertamente  las  apreciaciones  y  valoraciones 
tendrán  diferencias.  Los  productos  evaluativos  de  cada 
uno  constituyen  insumos  para  el  siguiente:  el  gerente 
provincial/estadual  tomará  en  cuenta  los  informes  y  los 
instrumentos  valorativos  que  elaboren  los  proyectos  y 
marcará  sus  acuerdos  y  sus  diferencias,  y  lo  mismo  suce¬ 
derá  en  el  nivel  nacional.  A  partir  de  allí  puede  generar- 

5.  Este  ejemplo  es  asimilable  al  caso  de  evaluación  de  cluster. 

6.  En  nuestro  ejemplo,  hubo  casos  de  gerentes  provinciales  que  tra¬ 
bajaron  juntamente,  bajo  la  modalidad  de  taller,  con  los  distintos  actores 
de  cada  uno  de  los  proyectos  del  subprograma  a  su  cargo,  lo  cual  enrique¬ 
ció  los  productos  evaluativos. 
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se  un  proceso  de  discusiones  y  reflexiones  conjuntas  que 
permitan  poner  en  claro  las  razones  de  las  diferencias  y 
llegar  gradualmente  a  mayores  acuerdos  o  acercamien¬ 
tos;  pero  tales  discusiones  se  darán  en  un  marco  concep¬ 
tual  y  metodológico  compartido.  Las  apreciaciones  eva- 
luativas  emergerán  así  como  productos  de  campos  epis¬ 
temológicos  de  intersubjetividad,  donde  interactuaron 
los  actores  significativos  en  los  diferentes  niveles  de  la 
acción,  incluyendo  los  “destinatarios”  de  esas  acciones. 

La  inclusión  de  estos  últimos  -la  población  objetivo, 
los  beneficiarios,  los  clientes,  los  usuarios-  puede  asegu¬ 
rarse  mejor  en  el  momento  de  la  autoevaluación  o  la 
evaluación  interna,  ya  que  es  en  el  territorio  mismo 
donde  se  ejecuta  el  proyecto;  sin  embargo,  también  des¬ 
de  los  otros  niveles  de  la  evaluación  (el  intermedio  o  es- 
tadual/provincial  y  el  central  o  nacional)  puede  contem¬ 
plarse  la  inclusión  de  esos  actores  primordiales,  median¬ 
te  estudios  específicos  en  determinados  momentos  de  la 
gestión  o  bien  después  de  que  haya  finalizado. 

No  se  desconoce,  pese  a  lo  dicho,  que  cada  nivel  de 
análisis  o  de  la  acción  tiene  sus  especificidades,  por  lo 
cual  habrá  variables  propias  que  se  requieran  evaluar  en 
cada  uno;  pero  a  lo  que  nos  referíamos  es  al  necesario 
“modelo  compartido”,  el  núcleo  común,  que  además  de 
interesar  a  todos,  brinde  la  posibilidad  de  consolidación 
para  diálogos  y  aprendizajes  conjuntos. 

Acá  se  hizo  alusión  a  la  inclusión  de  los  actores  en  las 
etapas  de  diseño  y  de  aplicación  del  modelo  evaluativo; 
en  un  apartado  posterior  se  hará  referencia  también  a  su 
participación  en  el  momento  de  análisis  de  los  resultados 
y  de  los  acuerdos  con  ellos  sobre  las  recomendaciones 
para  la  acción  futura. 
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La  formulación  de  juicios  valorativos 
fundamentados  y  de  recomendaciones 

Hay  un  momento  en  soledad  del  evaluador  (o  del  equi¬ 
po).  Es  después  de  haber  hecho  las  visitas  de  terreno, 
cuando  todo  el  material  está  desplegado,  ya  se  leyeron 
los  documentos,  se  analizaron  las  cifras,  se  repasaron  las 
notas  de  las  entrevistas  y  reuniones  o  talleres,  se  tienen 
frescos  aún  en  la  memoria  los  diálogos  y  las  discusiones 
mantenidas  con  los  diferentes  actores  en  el  escenario  de 
los  hechos,  se  recuerdan  las  observaciones  realizadas,  to¬ 
do  ello  enmarcado  por  el  relieve  del  modelo  evaluativo, 
sus  variables  y  sus  preguntas. 

Ése  es  el  meollo  de  toda  la  actividad  evaluativa,  el  mo¬ 
mento  por  excelencia,  cuando  se  necesita  dar  respuestas, 
sintetizar  la  cuantiosa  información  que  por  diferentes  vías 
o  fuentes  permite  describir  y  explicar  lo  que  vimos,  escu¬ 
chamos  o  supimos  sobre  lo  que  pasa.  Se  requiere  allí  po¬ 
ner  de  manifiesto  nuestros  entusiasmos  y  nuestras  discon¬ 
formidades.  Y,  sobre  todo,  se  requiere  sacar  conclusiones: 
emitir  juicios  valorativos  sobre  cómo  se  están  haciendo 
las  actividades,  si  están  insertas  en  enfoques  adecuados 
que  responden  a  los  estados  del  arte  en  los  respectivos 
campos,  si  se  orientan  hacia  donde  deberían,  si  son  visi¬ 
bles  algunos  resultados  positivos,  cuáles  son  las  dificulta¬ 
des  u  obstáculos,  cuáles  las  fortalezas  y  oportunidades;  y 
a  partir  de  tales  juicios,  cuáles  recomendaciones  son  per¬ 
tinentes  para  mejorar  o  reforzar  la  acción  futura. 

Es  el  momento  de  la  proactividad,  donde  la  experien¬ 
cia  del  evaluador  se  pone  en  juego  para  concluir  y  acon¬ 
sejar,  en  suma:  para  procurar  influir  en  la  transforma¬ 
ción  de  las  realidades  que  analizó. 
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Para  eso  nos  convocan  y  nos  pagan  a  los  evaluadores; 
ésa  es  la  tecnología  que  poseemos,  la  habilidad  más  difí¬ 
cil  de  transferir:  esa  capacidad  para  transformar  caudales 
de  información  en  nuevo  conocimiento,  para  unir  distintos  ti¬ 
pos  de  percepciones,  intuiciones,  experiencias  y  conoci¬ 
mientos,  hacer  con  ello  un  tramado  que  en  principio  pa¬ 
rece  caótico,  enredado  y  confuso,  pero  en  el  que  luego 
comienzan  a  percibirse  las  conexiones  y  se  produce  el  in- 
sight  que  permite  emerger  un  nuevo  saber,  un  conoci¬ 
miento  formulado  en  juicios,  sometido  a  crítica  y  nuevos 
pulimientos,  pero  orientado  a  difundir  aciertos  o  a  cam¬ 
biar  lo  que  consideramos  incorrecto  o  aún  incompleto,  y 
por  ende  motivo  de  disconformidad.  Somos  los  evalua¬ 
dores  quienes  tenemos  el  deber  de  nombrar  ciertas  cosas 
que  ocurren,  que  estaban,  pero  ocultas  porque  no  tenían 
nombre;  y  lo  que  no  se  nombra  no  existe;  entonces,  ¿có¬ 
mo  actuar  en  relación  con  aquello  que  no  existe  porque 
no  se  nombra?  Por  eso,  la  evaluación  al  nombrar,  facilita 
actuar. 

Hay  sucesos  más  fáciles  y  otros  más  difíciles  de  nom¬ 
brar.  También  allí  radica  la  excelencia  de  los  evaluadores: 
en  cómo  logran  nombrar  lo  que  sucede;  en  cómo  formu¬ 
lan  sus  juicios  valorativos  y  en  cómo  los  fundamentan. 
Porque  lo  cierto  es  que  algunas  “verdades”  pueden  ofen¬ 
der  y  doler.  A  todos  nos  provoca  molestia,  a  veces  dolor, 
cuando  nos  muestran  algo  que  hacemos  mal  o  no  tan 
bien.  Dependerá  del  modo  en  que  se  lo  exprese,  de  la  in¬ 
tención  y  el  tono  con  que  se  emita  el  juicio,  que  el  dolor 
o  la  molestia  disminuyan  o  ni  se  perciban  y  a  la  vez  que 
sea  mayor  la  aceptación  e  incorporación  de  las  recomen¬ 
daciones  consecuentes.  Eso  mostrará  la  calidad  del  eva¬ 
luador,  en  forma  similar  a  la  mano  pesada  o  delicada  de  la 
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enfermera  que  administra  la  inyección  para  aliviar  o  cu¬ 
rar  al  paciente. 

Si  damos  por  sentado  que  tanto  nosotros,  los  evalua¬ 
dores,  como  los  otros,  los  que  formulan  y/o  ejecutan  ac¬ 
ciones  en  los  proyectos,  tenemos  buena  fe,  compartimos 
ciertos  valores  éticos  y  estamos  trabajando  por  objetivos 
comunes,  aunque  en  diferentes  roles,  que  no  deseamos 
poner  de  manifiesto  mutuas  debilidades  o  incapacidades 
sino  aprender  juntos  de  la  experiencia,  entonces,  todo 
puede  nombrarse,  todo  es  fácil  de  decir  y  conversar.  Si 
esos  supuestos  del  respeto  por  lo  que  el  otro  piensa  y  ha¬ 
ce  son  compartidos,  el  diálogo  podrá  tocar  todos  los 
ítem  y  el  trato  será  de  igual  a  igual. 

En  cuanto  a  los  aspectos  operativos  de  esta  fase,  dire¬ 
mos  que  para  emitir  los  juicios  debemos  transitar  por 
descripciones  y  explicaciones  acerca  de  cómo  ocurren  las 
cosas;  debemos  recordar  cómo  fueron  formulados  los 
objetivos  y  programadas  las  acciones,  para  contrastar 
ahora  con  lo  hecho  y  obtenido. 

Para  llevar  a  cabo  ese  tránsito,  el  método  aconsejable 
es  ir  considerando  variable  por  variable,  analizando  de 
forma  horizontal  todas  las  fuentes  informativas  -autoeva- 
luaciones,  informes  pautados,  estadísticas,  documentos, 
notas  de  campo,  etc  -  que  puedan  arrojar  alguna  luz  so¬ 
bre  tal  variable;  así,  completar  las  descripciones  y  expli¬ 
caciones  emergentes  y  de  allí  concluir  un  juicio  aprecia¬ 
tivo  sobre  la  variable  en  cuestión. 

Dadas  las  interrelaciones  existentes  entre  las  diferen¬ 
tes  variables,  sucederá  que  unas  proveerán  argumentos 
para  otras.  Por  ejemplo:  si  es  muy  escasa  la  participación 
de  los  padres  o  las  madres  de  los  niños  beneficiarios,  eso 
tendrá  sin  duda  vinculación  con  las  deficiencias  observa- 


179 


Olga  Nirenberg ,  Josette  Brawerman ,  Violeta  Ruiz 

das  en  las  actividades  y  los  materiales  comunicacionales 
producidos  en  el  respectivo  proyecto,  y  el  escaso  éxito 
obtenido  en  las  convocatorias. 

Similar  procedimiento  es  aconsejable  con  las  dimen¬ 
siones.  Aunque  en  este  caso,  además  del  trabajo  de  forma 
horizontal ,  es  requerido  también  el  vertical ,  puesto  que  las 
variables  son  las  que  explican  gran  parte  del  juicio  que  se 
formule  respecto  de  una  determinada  dimensión.  Diji¬ 
mos  “gran  parte”,  lo  cual  no  significa  “todo”,  pues  sin 
duda  existe  una  mirada  general,  gestáltica ,  que  irá  más  allá 
de  la  sumatoria  o  agregación  de  las  apreciaciones  realiza¬ 
das  para  las  variables  respectivas.7  Esa  mirada  global  del 
evaluador  es  la  que  podrá  dar  cuenta  de  aquellas  poten¬ 
cialidades,  aquellas  cuestiones  que,  aún  no  concretadas, 
prometen  serlo,  más  allá  de  lo  concretamente  observado 
o  “lo  objetivable”  hasta  el  momento. 

Los  evaluadores  solemos  adelantar  nuestros  juicios  en 
los  momentos  de  interacción,  durante  las  visitas  de  terre¬ 
no,  debido  a  la  ansiedad  y  las  preguntas  que  nos  formu¬ 
lan  los  actores  de  los  proyectos.  Eso  tiene  ventajas  pues 
pueden  discutirse  apreciaciones  erróneas,  realizadas  so¬ 
bre  bases  de  evidencias  parciales,  y  así  lograr  mayor  y 
mejor  información  por  parte  de  los  actores  informantes, 
de  modo  de  corregir  juicios  apresurados.  Pero  debe  re¬ 
conocerse  también  que  se  requiere  una  distancia  tempo¬ 
ral  prudente  para  madurar  y  volver  a  pensar  convenien¬ 
temente  los  juicios,  más  allá  de  la  instancia  vivencial  que 
transcurre  durante  las  interacciones  en  terreno. 

7.  Recordemos  que  las  variables  fueron  “seleccionadas”,  por  ende 
nunca  completarán  el  espectro  posible;  siempre  habrá  aspectos  que  que¬ 
den  fuera. 
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Las  impresiones  recibidas  en  las  visitas  deben  medi¬ 
tarse  más  a  la  luz  de  los  documentos;  los  juicios  que  se 
formulan  con  tal  distancia  temporal  suelen  ser  más  pro¬ 
fundos  y  a  veces  bastante  distintos  de  los  inmediatos.  Por 
ende,  es  aconsejable  la  prudencia  para  emitir  juicios  an¬ 
ticipadamente,  así  como  advertir  a  los  actores  que  tales 
juicios  son  preliminares  y  que  podrán  modificarse  en  el 
momento  de  la  elaboración  evaluativa  que  se  plasmará  en 
un  informe,  el  que,  a  su  vez,  será  sometido  a  crítica  para 
concretar  el  “derecho  a  réplica”. 


La  devolución  de  los  hallazgos  evaluativos 

Es  un  paso  imprescindible  dentro  de  nuestro  encua¬ 
dre  del  proceso  evaluativo  realizar  la  devolución  de  los 
hallazgos  de  la  evaluación.  Existen  innumerables  expe¬ 
riencias  de  evaluaciones  realizadas,  en  las  que  los  actores 
que  intervinieron  de  un  modo  u  otro  carecen  de  acceso 
al  conocimiento  de  los  resultados  y  las  recomendaciones 
emergentes;  eso  sucede  sobre  todo  en  las  evaluaciones 
externas,  las  que  suelen  terminar  en  un  informe  escrito, 
generalmente  muy  largo  y  con  jerga  especializada,  y  al 
que  muy  pocos  acceden  -por  lo  general  los  gerentes  o 
autoridades-  y  son  menos  aún  los  que  verdaderamente  lo 
leen.  Si  bien  en  nuestra  concepción  de  devolución  el  in¬ 
forme  escrito  constituye  el  meollo,  está  lejos  de  ser  la 
única  forma. 

Hemos  escuchado  también  algunas  críticas  acerca  de 
la  utilización  de  la  palabra  “devolución”.  Tal  vez  quienes 
formulan  esas  críticas  tomen  el  significado  literal  del  tér¬ 
mino  en  sus  acepciones  de  “volver  una  cosa  al  estado  que 


181 


Olga  Nirenberg ,  Josette  Brawerman,  Violeta  Ruiz 


tenía”,  “restituirla  a  la  persona  que  la  poseía”;  pero  aquí 
se  toman  más  en  cuenta  las  otras  dos  acepciones  que  da 
el  Diccionario  de  la  Real  Academia  Española  de  “volverse, 
dar  la  vuelta”,  “corresponder  a  un  favor”,  en  relación  con 
aquellos  actores  que  se  involucraron  o  bien  tienen  inte¬ 
reses  en  el  proceso  evaluativo. 

Vale  entonces  aclarar  que  al  usar  el  término  “devolu¬ 
ción”  aludimos  a  la  diseminación,  al  análisis  y  al  ajuste  de 
los  hallazgos  y  recomendaciones,  juntamente  con  los  ac¬ 
tores  que  se  involucraron,  de  un  modo  u  otro,  en  el  pro¬ 
ceso  evaluativo,  sin  implicar  en  ese  uso  lingüístico  que 
alguien  se  haya  apropiado  antes  de  algún  saber  de  forma 
indebida. 

De  ningún  modo  creemos  que  el  conocimiento  de  los 
actores  de  los  diferentes  niveles  del  programa  o  proyecto 
sea  el  mismo  antes  y  después  del  proceso  evaluativo;  esta¬ 
mos  convencidas,  a  partir  de  nuestras  experiencias,  de  que 
el  diseño  y  la  aplicación  del  modelo,  las  diferentes  inte¬ 
racciones  ocurridas  y  la  elaboración  de  la  información  re¬ 
cogida  por  diferentes  vías,  permiten  generar  nuevo  cono¬ 
cimiento  acerca  de  la  realidad  circundante  y  del  propio 
programa  o  proyecto.  Es  ése  el  conocimiento  que  se  so¬ 
mete  a  devolución,  para  la  crítica  o  discusión.  Si  no  cre¬ 
yéramos  que  evaluando  se  genera  nuevo  conocimiento, 
mediante  el  cual  se  llegan  a  percibir  y  nombrar  fenóme¬ 
nos  que  antes  no  eran  visibles  ni  nombrables,  no  valdría 
la  pena  evaluar. 

Sin  duda  alguna,  el  primer  paso  en  un  proceso  de  de¬ 
volución  o  diseminación  de  los  hallazgos  de  la  evaluación 
a  las  audiencias  previamente  identificadas  consiste  en  es¬ 
cribir  un  informe  exhaustivo,  del  cual  podrán  emerger 
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otros  subproductos,  algunos  de  los  cuales  mencionare¬ 
mos  luego. 


El  informe  de  evaluación 

La  información  recogida  en  cada  aplicación  requiere 
ser  procesada  y  analizada,  para  luego  escribir  un  informe 
que  incluya  descripciones  y  explicaciones  que  permitan 
fundamentar  tanto  los  juicios  valorativos  referidos  a  cada 
una  de  las  variables  y  dimensiones  como  las  recomenda¬ 
ciones  que  se  formulen  al  respecto. 

Como  resultado  de  cada  aplicación  evaluativa  se  es¬ 
pera  entonces  un  informe,  que  debería  pautarse  de  an¬ 
temano.  Tal  pauta  podrá  constituir  también  parte  del 
modelo  evaluativo. 

Ante  todo,  como  en  cualquier  informe,  se  incluirá 
una  introducción ,  que  dará  precisiones  muy  sintéticas 
acerca  del  objeto  de  la  evaluación,  es  decir,  las  principa¬ 
les  características  del  programa  o  proyecto  respectivo: 
su  población  objetivo,  su  localización,  el  problema  que 
se  procura  atender  o  solucionar,  las  principales  líneas  de 
acción,  los  objetivos  y  los  resultados  esperados;  para  ma¬ 
yor  detalle  se  remitirá  a  la  lectura  de  los  documentos  del 
programa  o  proyecto. 

También  en  la  introducción  se  indicará  cuál  es  el  par¬ 
ticular  período  considerado  y  los  principales  focos  adop¬ 
tados  en  ese  momento  evaluativo.  En  el  caso  de  tratarse 
del  informe  evaluativo  final,  y  no  relacionado  con  uno 
de  los  cortes  en  especial,  habrá  que  hacer  un  relato  com¬ 
pleto  acerca  de  cuál  fue  el  proceso  de  la  evaluación  a  lo 
largo  de  la  ejecución  del  programa  o  proyecto,  las  dis- 
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tintas  aplicaciones  realizadas  y  los  focos  en  los  diversos 
momentos.  Se  podrá  aludir  a  los  documentos  concep¬ 
tuales  y  metodológicos  del  modelo  evaluativo,  para  el 
caso  de  las  audiencias  que  no  hayan  tenido  acceso.  Sin 
embargo,  será  conveniente  incluir  como  anexo  una  sín¬ 
tesis  metodológica  y  conceptual,  por  ejemplo,  la  matriz 
síntesis.  En  el  caso  ya  mencionado  de  evaluaciones  efec¬ 
tuadas  al  finalizar  o  después  que  finalizó  un  programa  o 
proyecto,  el  informe  incluirá  sin  lugar  a  dudas  un  capí¬ 
tulo  metodológico  relativo  al  diseño  del  modelo  evalua¬ 
tivo  y,  por  lo  demás,  no  tendrá  diferencias  sustanciales 
con  lo  aquí  explicado. 

También  en  el  capítulo  introductorio  se  aclarará 
cuál  información  fue  tomada  en  cuenta  para  la  realiza¬ 
ción  del  informe:  la  que  fue  relevada  especialmente  pa¬ 
ra  ese  momento  evaluativo,  los  informes  evaluativos  de 
otros  niveles,  los  instrumentos  valorativos,  la  informa¬ 
ción  acumulada  en  otros  informes  de  otros  momentos 
evaluativos,  otros  documentos  o  informes  de  visitas  in 
situ,  etc. 

Por  último,  se  mencionarán  los  actores  participantes 
en  la  etapa  de  aplicación  evaluativa  y  se  aclarará  cuáles 
serán  las  principales  audiencias  del  informe. 

A  continuación  habrá  un  núcleo  central  del  informe, 
la  parte  de  análisis  y  síntesis  evaluativa ,  en  donde  cada 
capítulo  coincidirá  con  cada  dimensión  del  modelo; 
dentro  de  cada  uno  de  esos  apartados,  los  títulos  coin¬ 
cidirán  con  los  nombres  de  las  variables;  por  otra  par¬ 
te,  dentro  de  cada  variable,  las  descripciones,  las  expli¬ 
caciones  y  los  análisis  tomarán  en  cuenta  los  indicado¬ 
res  considerados.  En  otras  palabras:  ese  núcleo  del  in¬ 
forme  deberá  contener  como  mínimo  las  respuestas 
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principales  a  las  preguntas  orientadoras  formuladas  en 
el  modelo  evaluativo,  agregando  toda  otra  información 
que  resulte  relevante  para  comprender  las  respectivas 
realidades. 

En  los  capítulos  relativos  a  cada  una  de  las  dimensio¬ 
nes  del  modelo  se  incluirán  las  descripciones  y  explica¬ 
ciones  emergentes  de  las  diversas  fuentes  informativas 
-las  que  deberán  ser  citadas-  y  la  conclusión  respectiva, 
es  decir,  el  juicio  valorativo  fundamentado  acerca  de  di¬ 
cha  dimensión.  Ya  se  advirtió  en  un  ítem  precedente,  el 
cuidado  que  habrá  de  ponerse  en  el  modo  de  expresar 
esos  juicios  valorativos;  es  conveniente  resaltar  primera¬ 
mente  las  cuestiones  positivas  y  las  fortalezas  para  luego 
advertir  sobre  las  debilidades,  las  omisiones  o  los  errores. 
Son  esos  juicios  los  que  darán  lugar  luego  a  la  formula¬ 
ción  de  recomendaciones. 

Seguidamente  se  incluirá  un  capítulo  denominado 
conclusiones  y  recomendaciones ,  donde  se  señalarán  los  prin¬ 
cipales  logros  alcanzados  durante  el  período,  así  como  las 
dificultades  o  los  obstáculos  encontrados  y  las  estrategias 
desplegadas  para  su  superación. 

Se  resumirán  aquí,  como  conclusiones,  los  juicios  va¬ 
lorativos  más  relevantes,  ya  señalados  de  forma  previa 
para  cada  una  de  las  dimensiones  analizadas,  pero  tam¬ 
bién  se  agregarán  aquellas  otras  que  emerjan  del  análisis 
vinculatorio  entre  las  diferentes  variables  y  dimensiones 
del  modelo. 

Un  ítem  importante  de  este  capítulo  es  el  que  corres¬ 
ponde  a  las  recomendaciones.  Cuando  se  trata  de  un  in¬ 
forme  relacionado  con  un  momento  intermedio  de  la 
gestión  del  proyecto  o  programa,  constituirán  orienta¬ 
ciones  para  la  acción  futura,  así  como  parámetros  de 
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comparación  y  reflexión  para  el  siguiente  corte  evaluati- 
vo.  En  el  caso  de  tratarse  del  informe  evaluativo  final,  o 
de  un  único  informe  de  una  evaluación  realizada  al  fina¬ 
lizar  o  después  del  final  de  un  programa  o  proyecto, 
igualmente  se  consignarán  recomendaciones,  ya  que  po¬ 
drán  ser  de  utilidad  para  programas  o  proyectos  simila¬ 
res  en  otros  contextos  o  momentos  posteriores. 

Las  recomendaciones  deben  dirigirse  a  las  diferentes 
audiencias  de  la  evaluación  (técnicos,  decisores,  benefi¬ 
ciarios,  financiadores,  etc.)  sugiriendo,  en  la  medida  de 
lo  posible,  opciones  o  alternativas  para  cada  uno  de  ellos. 
Deberán  ser  prácticas  y  factibles,  evitando  generalizacio¬ 
nes.  Deberán  sugerir  cómo  construir  sobre  los  logros, 
superar  las  dificultades  y  subsanar  las  limitaciones  del 
programa  o  proyecto  evaluado.  Aludirán  a  las  dimensio¬ 
nes  y  variables  incluidas  en  el  modelo  evaluativo,  en  la 
medida  en  que  se  hayan  resaltado  en  la  parte  previa  del  in¬ 
forme  algunas  apreciaciones  críticas  a  su  respecto.  Esta 
advertencia  es  de  relevancia  pues  en  los  informes  suelen 
colocarse  recomendaciones  para  las  cuales  en  el  texto  des¬ 
criptivo  y  analítico  previo  no  se  brindan  fundamentos;  no 
es  lógico  recomendar  cambios  en  la  acción  cuando  no  se 
resaltan  los  problemas  encontrados  en  la  forma  en  que  se 
vienen  haciendo  las  cosas. 

Hemos  visto  informes  con  recomendaciones  formula¬ 
das  en  términos  tan  generales  que  no  constituyen  al  fin 
ninguna  clase  de  ayuda  para  la  acción  futura. 

Tomemos  un  ejemplo  esbozado  anteriormente:  supon¬ 
gamos  que  uno  de  los  juicios  valorativos  emergentes  de  las 
descripciones  y  explicaciones  alude  al  bajo  involucramien- 
to  en  el  proyecto  y  la  escasa  información  al  respecto  de  los 
padres  o  las  madres  de  los  niños  beneficiarios,  lo  cual  se 


186 


La  aplicación  del  modelo  evaluativo 


vincula  a  una  inadecuada  estrategia  de  convocatoria  para 
que  asistan  a  las  reuniones  informativas  sobre  el  proyecto. 
Si  se  formula  una  recomendación  tan  general  como: 

-  mejorar  las  estrategias  de  convocatoria  e  información  a  los 
padres  y /o  las  madres , 

es  prácticamente  nula  la  sugerencia  de  acción  que  se 
brinda  a  los  miembros  del  equipo  técnico  del  proyecto 
respectivo,  salvo  el  señalamiento  de  que  algo  anda  mal  y 
debe  mejorarse,  pero  nada  se  dice  acerca  de  cómo  hacer¬ 
lo.  En  cambio,  si  se  incluyen  una  o  las  dos  siguientes  re¬ 
comendaciones  más  específicas,  se  orientará  mejor  acer¬ 
ca  de  cómo  deberían  hacerse  las  cosas: 

-  incorporar  actividades  que  contemplen  los  intereses  y  las  po¬ 
sibilidades  horarias  de  los  padres  y/o  las  madres ,  para 
atraerlos ,  incluirlos  y  a  la  vez  informarlos  sobre  la  situación 
y  el  desempeño  de  sus  hijos  en  el  marco  del  proyecto; 

-  elaborar  material  comunicacional  apropiado  orientado  a  los 
padres  y/o  las  madres ,  tales  como:  boletines  informativos , 
folletos ,  hojas  de  comunicación ,  periódicos  murales ,  videos , 
entre  otros ,  de  modo  de  mantener  un  buen  nivel  de  infor¬ 
mación. 

Para  cerrar  el  capítulo  de  conclusiones  y  recomenda¬ 
ciones  del  informe  es  importante  preguntarse  por  cada 
uno  de  los  grandes  puntos  que  todo  proyecto  o  progra¬ 
ma  debe  incluir  (objetivos,  población  objetivo,  activida¬ 
des,  presupuesto,  tiempo  de  implementación)  y  relacio¬ 
narlos  con  las  preguntas  evaluativas  originales.  Por 
ejemplo: 
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•  De  acuerdo  con  el  problema  que  dio  origen  al  diseño 
y  la  implementación  del  programa,  ¿qué  objetivos  de¬ 
berían  cambiar,  suprimirse  o  agregarse? 

•  En  función  de  la  población  que  el  programa  o  proyec¬ 
to  debería  atender  y  la  que  realmente  atiende  (la  eva¬ 
luación  puede  concluir  que  no  se  está  llegando  a  la 
población  objetivo  originalmente  definida),  ¿qué  me¬ 
canismos  de  focalización  habría  que  mejorar,  cambiar 
o  suprimir? 

•  ¿Qué  nuevas  actividades  habría  que  implementar  pa¬ 
ra  captar  dicha  población  o  adecuarse  a  la  población 
realmente  beneficiaría  del  proyecto? 

•  ¿Qué  actividades  son  exitosas,  cuáles  han  demostrado 
ser  superfluas  e  incluso  perjudiciales  para  la  consecu¬ 
ción  de  los  objetivos  y  metas  del  programa  (y  en  ese 
caso  pueden  ser  suprimidas)  y  cuáles,  a  la  luz  de  los 
resultados,  convendría  incluir  en  el  futuro? 

•  ¿La  estructura  y  la  dinámica  del  programa  han  cola¬ 
borado  o  no  para  alcanzar  los  logros? 


Talleres  para  el  acuerdo  con  los  actores 

El  informe  preliminar  de  evaluación  será  remitido  a 
los  actores  que  intervinieron  durante  el  proceso,  some¬ 
tiéndolo  a  su  crítica  y  para  que  puedan  proponer  correc¬ 
ciones  o  agregados.  Habiendo  dado  tiempo  suficiente 
para  la  lectura  y  el  análisis  crítico  del  documento  es  con¬ 
veniente  realizar  talleres  sobre  algunas  cuestiones  donde 
pueden  existir  disensos,  pues  en  ese  marco  es  posible  dis¬ 
cutir  y  llegar  a  acuerdos  entre  los  responsables  de  la  eva¬ 
luación  y  los  demás  actores.  En  un  programa  con  locali- 
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zaciones  diversas  es  conveniente  realizar  talleres  regio¬ 
nales,  agrupando  según  localizaciones  en  grupos  de  tra¬ 
bajo  y  socializando  luego  las  discusiones  y  acuerdos  en 
plenarios.  En  nuestra  experiencia,  esas  dinámicas  enri¬ 
quecen  sobremanera  los  informes,  pues  agregan  detalles 
y  mayor  exactitud  a  las  descripciones  e  informaciones 
numéricas,  otros  y  mejores  argumentos  a  las  explicacio¬ 
nes  y  observaciones  críticas.  Es  una  de  las  formas  para  es¬ 
pecificar  las  recomendaciones  para  la  acción  futura  y  que 
sean  realmente  asumidas  por  los  que  tienen  luego  la  res¬ 
ponsabilidad  de  concretarlas. 

En  alguno  de  los  programas  donde  hemos  interveni¬ 
do  y  habiendo  incorporado  luego  de  esos  talleres  las  ob¬ 
servaciones  efectuadas  en  el  informe,  los  actores  de  los 
proyectos,  a  través  de  su  representante  legal,  firmaban  su 
acuerdo  en  el  documento  corregido,  asumiendo  así  su 
responsabilidad  sobre  todo  en  torno  a  las  recomendacio¬ 
nes  efectuadas  para  la  acción  futura,  lo  cual  sería  materia 
de  futuras  evaluaciones. 


El  resumen  ejecutivo 

Constituye  un  documento  breve,  de  entre  diez  a  quin¬ 
ce  páginas,  o  menos  según  los  casos,  donde  se  consignan 
los  pimíos  más  sobresalientes  del  texto  del  informe,  sobre 
todo  remarcando  logros,  dificultades  y  recomendaciones. 
Está  destinado  especialmente  a  ciertas  audiencias  tales 
como  las  autoridades  políticas  o  el  periodismo,  quienes 
no  suelen  leer  documentos  técnicos  extensos.  Es  conve¬ 
niente  que  cuente  con  las  cifras  más  relevantes,  así  como 
con  gráficos  ilustrativos. 
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La  difusión  de  los  hallazgos 

A  partir  de  allí,  se  aplicarán  las  diversas  estrategias  co- 
municacionales  para  difundir  los  hallazgos  evaluativos 
según  las  audiencias  específicas.  Se  podrán  construir  ga¬ 
cetillas  para  los  medios  masivos,  folletos  y/o  CD-Roms 
interactivos  para  las  agencias  de  financiamiento,  resúme¬ 
nes  y  transparencias  para  exposiciones  y  conferencias  en 
los  medios  académicos,  congresos,  seminarios,  revistas 
especializadas,  entre  otros. 
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Se  recuerda  que  una  matriz  como  ésta  deberá  acompañarse  con  un  documento  conceptual  y  metodológico  que  por  un  lado  permita 
aclarar  el  sentido  de  las  dimensiones  y  variables  seleccionadas,  y  por  otro  brinde  las  aclaraciones  sobre  las  técnicas  y  fuentes  a  utilizar  para 
obtener  la  información  respectiva. 

2.  En  las  dimensiones  1  a  4,  los  ejemplos  de  variables  son  de  resultados;  las  referencias  a  metodologías  de  trabajo  están  en  la  dimensión  7. 
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4.  OSC:  Organización  de  la  Sociedad  Civil  ejecutora  del  proyecto. 
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6.  Se  deberán  anexar  aparte  instrucciones  específicas  para  el  cálculo  de  los  costos. 
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INSTRUMENTO  DE  VALORACIÓN1 


Advertencia  para  el  siguiente  instrumento 

En  cada  dimensión  y  en  cada  variable  aparecen  en  la 
columna  de  “ Valoraciones ”  los  siguientes  casilleros : 

l.D  2.D  3.D  4.  □  donde 

1  =  Insatisfactorio 

2  =  Poco  Satisfactorio 

3  =  Satisfactorio 

4  =  Muy  Satisfactorio 


PROYECTO: 


A.  DIMENSIONES  SUSTANTIVAS 

VARIABLES  E  INDICADORES 

VALORACIONES 

1.  Cuidado  integral  del  niño  de 
hasta  5  años 

1.  □  2.  □  3.  □  4.  □ 

1 .  Cantidad  de  niños  de  2  a  5  años 
cubiertos 

N°  de  beneficiarios: 

2.  Proporción  de  niños 

adecuadamente  estimulados 

1.  □  Menos  del  25  % 

2.  □  Entre  el  25  %  y  el  49  % 

3.  □  Entre  el  50  %  y  el  74  % 

4.  □  El  75  %  o  más 

3 .  Proporción  de  niños  controlados 
regularmente  en  el  Centro  de 
Salud 

1.  □  Menos  del  25  % 

2.  □  Entre  el  25  %  y  el  49  % 

3.  □  Entre  el  50  %  y  el  74  % 

4.  □  El  75  %  o  más 

4.  Participación  de  los  padres  en 
actividades  del  centro  de  cuidado 

1 .  □  Nula 

2.  □  Reducida 

3.  □  Bastante 

4.  □  Amplia 

1.  Este  instrumento  es  un  ejemplo,  coherente  con  la  matriz  síntesis  previa. 
Se  recuerda  que  este  tipo  de  instrumento  permite  el  volcado  de  información  a 
una  base  de  datos  y  que,  al  ser  llenado  en  varias  aplicaciones,  con  determinada 
periodicidad,  posibilita  comparaciones  rápidas  a  lo  largo  del  tiempo  de  ejecu¬ 
ción.  Debe  ir  siempre  acompañado  de  un  instructivo  y  realizarse  capacitación 
en  forma  previa  a  su  aplicación. 
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VARIABLES  E  INDICADORES 

VALORACIONES 

2.  Complementado*!  escolar 

1.  □  2.  □  3.  □  4.  □ 

1 .  Cantidad  de  beneficiarios  cubier¬ 
tos 

N°  de  beneficiarios: 

2.  Rendimiento  escolar  de  los  niños 

que  recibieron  apoyo  en  el  últi¬ 
mo  año 

1.  Regular  % 

2.  Bueno  % 

3.  Muy  bueno . % 

3 .  Proporción  de  niños  beneficiarios 
que  recibieron  apoyo  y 
promovieron  de  grado 

1.  □  Menos  del  25  % 

2.  □  Entre  el  25  %  y  el  49  % 

3.  □  Entre  el  50  %  y  el  74  % 

4.  □  El  75  %  o  más 

3.  Prevención  del  embarazo 
adolescente 

1.  □  2.  □  3.  □  4.  □ 

1 .  Cantidad  de  adolescentes  asis¬ 
tentes  a  cursos,  charlas,  talleres, 
etc. 

N°  de  adolescentes  beneficiarios: 
Varones: 

Mujeres: 

2.  Conocimiento  de  los  adolescentes 
acerca  de  métodos  de  prevención 
del  embarazo 

1.  □  Poco 

2.  □  Mediano 

3.  □  Mucho 

3.  Predisposición  al  uso  de  métodos 
de  prevención  del  embarazo 

1.  □  Baja 

2.  □  Mediana 

3.  □  Alta 

4.  Atención  de  la  violencia 
familiar 

1.  □  2.  □  3.  □  4.  □ 

1.  Cantidad  de  demandas  de  aten¬ 
ción  al  proyecto 

N®  de  demandas  de  atención: 

2.  Proporción  de  demandas  resueltas 
en  relación  con  las  atendidas 

Proporción: 

3.  Calidad  de  los  vínculos  familiares 

1*  □  Malos  o  inexistentes 

2.  □  Regulares 

3.  □  Buenos 

4.  Existencia  de  familias  con 

conductas  violentas  (en  el  barrio) 

1.  □  Sí,  cantidad  estimada: 

2.  □  No 
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VARIABLES  E  INDICADORES 

VALORACIONES 

5.  Cobertura 

1.  □  2.  □  3.  □  4.  □ 

1 .  Relación  entre  beneficiarios  según 
componen  tes/ actividades  y  meta 
respectiva 

N°  Benef.  Componente  1  /  Meta: 
N°  Benef.  Componente  2  /  Meta: 
N°  Benef.  Componente  3  /  Meta: 
N°  Benef.  Componente  4  /  Meta: 
TOTAL  Benef.  /  Meta  total: 

2.  Relación  entre  beneficiarios 
cubiertos  y  población  objetivo  en 
el  área  del  proyecto 

Benefic.  totales  /  Población 
objetivo: 

6.  Focalización 

1.  □  2.  □  3.  □  4.  □ 

Proporción  de  los  beneficiarios 
cubiertos  por  el  proyecto  que 
cumplen  con  alguno/s  de  los 
criterios  de  vulnerabilidad 
planteados 

Proporción: 

7.  Progreso  en  la  ejecución  del 
proyecto 

1.  □  2.  □  3.  □  4.  □ 

1 .  Concordancia  entre  actividades 
realizadas  y  previstas  en  la 
programación 

1.  □  No  concuerdan 

2.  □  Parcialmente 

3.  □  Concuerdan 

2.  Cumplimiento  de  cronogramas 

1  □  No  se  cumplieron 

2.  □  Parcialmente 

3.  □  Se  cumplieron 

3.  Cantidad  de  actividades 
realizadas,  de  forma  global 

1.  □  Nulas 

2.  □  Escasas 

3.  □  Bastantes 

4.  □  Muchas 

4.  Equilibrio  en  el  desarrollo  de  los 
componentes  y  actividades 

1.  □  Hay  desequilibrio 

2.  □  Repiar  equilibrio 

3.  □  Buen  equilibrio 

5.  Metodologías  de  trabajo 
implementadas 

1.  □  Inadecuadas  en  general 

2.  □  Adecuadas  en  alpnos 

casos  pero  no  en  otro/s 

3 .  □  Adecuadas  en  general 

cont. 
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VARIABLES  E  INDICADORES 


VALORACIONES 


6.  Aprendizajes  realizados  a  partir 
de  las  experiencias 

1 .  □  Ninguno 

2.  □  Alguno/s 

3 .  □  Muchos 

7.  Modificaciones  en  función  de  los 

aprendizajes 

1 .  □  Ninguna 

2.  □  Alguna/s 

3 .  □  Muchas 

8.  Resultados  y  conformidad 

1.  □  2.  □  3.  □  4.  □ 

1 .  Cambios  en  las  situaciones  de  los 
beneficiarios 

1 .  □  Empeoró 

2.  □  Sigue  igual 

3.  □  Mejoró  poco 

4.  □  Mejoró  bastante 

5.  □  Mejoró  mucho 

2.  Concordancia  entre  los  resultados 
obtenidos  y  los  esperados 

1.  □  Baja 

2.  □  Mediana 

3.  □  Alta 

3.  Conformidad  de  los  beneficiarios 

1.  □  Baja 

2.  □  Mediana 

3.  □  Alta 
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B.  DIMENSIONES  DE  GERENCIAMIENTO  O 
INSTRUMENTALES 

VARIABLES  E  INDICADORES 

VALORACIONES 

1.  Estilo  de  la  coordinación 

1.  □ 

2.  □  3.  □  '  4.  □ 

1 .  Perfil  profesional  del  coordinador 

1.  □' 

No  hay  coordinador 

2.  □ 

No  profesional 

1. 

□  Sin  experiencia 

2. 

□  Con  poca  experiencia 

3. 

□  Con  experiencia 
suficiente 

3.  □ 

Profesional 

1. 

□  Sin  experiencia 

2. 

□  Con  poca  experiencia 

3. 

□  Con  experiencia 
suficiente 

2.  Existencia  6  índole  profesional  del 

1.  □ 

No  hay  equipo  técnico 

equipo  técnico 

2.  □ 

Hay,  no  profesional 

3.  □ 

Hay,  profesional 

4.  □ 

Hay,  con  profesionales  y 
no  profesionales 

3 .  Experiencia  en  proyectos  sociales 

1.  □ 

No  hay  equipo  técnico 

por  parte  del  equipo  técnico  en 

2.  □ 

Sin  experiencia 

general 

3.  □ 

Con  poca  experiencia 

4.  □ 

Con  experiencia  suficiente 

4.  Compromiso  de  los  miembros  del 

1.  □ 

No  hay  equipo  técnico 

equipo  técnico  con  el  proyecto 

2.  □ 

Bajo 

3.  □ 

Mediano 

4.  □ 

Alto 

5.  Vínculo  de  la  OSC  con  el  equipo 

1.  □ 

No  hay  equipo  técnico 

técnico 

2.  □ 

Malo 

3.  □ 

Regular 

4.  □ 

Bueno 

6.  Modalidad  de  la  toma  de 

1. 

Unipersonal 

decisiones  referidas  al  proyecto 

2.  □ 

Acuerdos  dentro  del 
equipo 

3.  □ 

Acuerdos  entre  el  equipo 
y  la  OSC 

4.  □ 

Se  incluyen  actores 
comunitarios 

5.  □ 

Otras  modalidades 

7.  Adecuación  de  los  informes  de 

1.  □ 

Inadecuado 

avance 

2.  □ 

Regular 

3.  □ 

Adecuado 
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VARIABLES  E  INDICADORES 

VALORACIONES 

2.  Desarrollo  de  la  comunicación 
social 

1.  □  2.  □  3.  □  4.  □ 

1 .  Inclusión  de  actividades  de 
comunicación  social 

1.  □  No 

2.  □  Sí 

2.  Cumplimiento  de  normas 

1 .  □  No  hay  comunicación 

social 

2.  □  Inadecuado 

3.  □  Regular 

4.  □  Adecuado 

3.  Actividades  realizadas 

1 .  □  Escasas  o  ninguna 

2.  □  Bastantes 

3.  □  Muchas 

4.  Existencia  y  calidad  de  los 
materiales 

1 .  □  No  se  produjeron 

2.  □  Se  produjeron,  de  baja 

calidad 

3.  □  Se  produjeron,  de  regular 

calidad 

4.  □  Se  produjeron,  de  buena 

calidad 

5.  Grado  de  llegada  a  las  audiencias 

1,  □  No  corresponde 

2.  □  Bajo 

i.  □  Repiar 

4.  □  Alto 

6.  Eficacia  en  estrategias  de 
convocatoria 

1.  □  Inadecuada 

2.  □  Repiar 

3.  □  Adecuada 

3.  Desarrollo  de  los  procesos  de 
evaluación 

1.  □  2.  □  i.  □  4.  □ 

i,  Realización  sistemática  de 
actividades  de  autoevaluaeión 

1,  □  No  se  realizan 

2,  □  Sí,  eventualmente 

3,  □  Sí,  replarmente 

cont. 
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VARIABLES  E  INDICADORES 

VALORACIONES 

2.  Participantes 

1 .  □  No  corresponde 

2.  □  Equipo  técnico 

3.  □  Equipo  técnico  y 

miembros  de  la  OSC 

4.  □  Se  incluyen  actores 

comunitarios 

5.  □  Se  incluyen  otros  actores 

3.  Identificación  de 

fortalezas/oportunidades  y 
debilidades/  obstáculos 

1.  □  No 

2.  □  Sí 

4.  Influencia  de  los  resultados 
evaluativos  en  decisiones  y 
reprogramación 

1.  □  Poco  o  nada 

2.  □  Bastante 

3.  □  Mucha 

5.  Reflejo  de  las  evaluaciones  en  los 
informes  de  avance 

1 .  □  Poco  o  nada 

2.  □  Bastante 

3.  □  Mucho 

4.  Construcciones 

O 

ÍSJ 

o 

□ 

O 

1 .  Inclusión  de  construcciones 

1.  □  No 

2.  □  Sí 

2.  Cumplimiento  de  condiciones 
previas 

1 .  □  No  hay  construcciones 

2.  □  No  se  cumplieron 

3.  □  Parcialmente 

4.  □  Se  cumplieron 

3,  Avance  en  la  ejecución  de  obras 

1,  □  No  hay  construcciones 

2,  □  No  se  empezaron 

3,  □  Están  atrasadas 

4,  □  Están  en  tiempo 

5,  □  Están  terminadas 

4,  Adecuación  de  las  obras  con  el 
propósito  de  uso 

1,  □  No  hay  construcciones 

2,  □  Inadecuada 

3,  □  Repiar 

4,  □  Adecuada 
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VARIABLES  E  INDICADORES 


VALORACIONES 


5.  Equipamientos 

□ 

□ 

rr\ 

□ 

C\¡ 

□ 

1.  Inclusión  de  equipamientos 

1.  □  No 

2.  □  Sí 

2.  Cumplimiento  de  normas  de 
compras  de  equipamientos 

1.  □  No  hay  equipamientos 

2.  □  No  se  cumplieron 

3 .  □  Parcialmente 

4.  □  Se  cumplieron 

3.  Adecuación  con  lo  programado 
(en  elementos  y  en  tiempos) 

1 .  □  No  hay  equipamientos 

2.  □  Inadecuada 

3 .  □  Regular 

4.  □  Adecuada 

4.  Adecuación  de  los  equipamientos 
con  el  propósito  de  uso 

1 .  □  No  hay  equipamientos 

2.  □  Inadecuada 

3 .  □  Regular 

4.  □  Adecuada 

6.  Administración 

1.  □  2.  □  3.  □  4.  □ 

1 .  Inclusión  de  aportes  del  programa 
y  locales 

1.  □  No 

2.  □  Sí 

2.  Cumplimiento  de  normas 

1 .  □  No  se  cumplieron 

2 .  □  Parcialmente 

3.  □  Se  cumplieron 

3.  Cumplimiento  de  fechas 

1 .  □  Atrasos  =  >  1  mes 

2.  □  Regular  =15  días  a  1  mes 

3.  □  Puntual  =  <15  días 

4.  Monto  efectivamente  rendido  en 
relación  con  lo  desembolsado 
hasta  la  fecha 

%  rendido  sobre  desembolsado: 

7.  Ejecución  presupuestaria 

1.  □  2.  □  3.  □  4.  □ 

1 .  Grado  de  ejecución  global 
(respecto  del  monto  total 
presupuestado) 

1.  □  Bajo  (hasta  50  %) 

2.  □  Mediano  (50  a  75  %) 

3.  □  Alto  (más  del  75  %) 

cont. 
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VARIABLES  E  INDICADORES 


VALORACIONES 


2.  Estructura  del  gasto  según  destino 

1.  □  Hasta  20  %  en 

Administración  y  Gerencia 

2.  □  >20  %  en  Administración 

y  Gerencia 

3 .  Coherencia  del  gasto  con  las 
actividades  previstas 

1.  □  Baja 

2.  □  Mediana 

3.  □  Alta 

4.  Grado  de  ejecución  total  respecto 
de  lo  previsto  hasta  la  fecha 

1.  □  Hasta  50  % 

2.  □  Entre  50  %  y  75  % 

3.  □  Más  de  75  % 

5.  Grado  de  ejecución  total  respecto 
de  lo  desembolsado  hasta  la  fecha 

1.  □  Hasta  50  % 

2.  □  Entre  50  %  y  75  % 

3.  □  Más  de  75  % 

6.  Equilibrio/cumplimiento  en  la 
ejecución  según  rubros  de  acuerdo 
con  lo  previsto  (adjuntar  cuadro 
con  detalle) 

1 .  □  Inadecuado 

2.  □  Regular 

3 .  □  Adecuado 

7.  Equilibrio/cumplimiento  en  la 
ejecución  según  rubros  de  acuerdo 
con  lo  desembolsado  a  la  fecha 
(adjuntar  cuadro  con  detalle) 

1 .  □  Inadecuado 

2.  □  Regular 

3 .  □  Adecuado 

8.  Costo  de  las  prestaciones 

1.  □  2.  □  3.  □  4.  □ 

1 .  Costo  real  de  cada  prestación 

Adjuntar  cuadro 

2 .  Adecuación  de  los  costos  reales 
respecto  de  los  costos  de 
referencia 

1  .  □  Baja 

2.  □  Mediana 

3 .  □  Alta 
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C.  DIMENSIONES  ESTRATEGICAS 


VARIABLES  E  INDICADORES 

VALORACIONES 

1.  Carácter  participativo 

□ 

□ 

ró 

□ 

Cs] 

□ 

1 .  Instancias  para  participación  de  la 
población  beneficiaría 

1.  □  No  hay 

2.  □  Sí,  informales 

3.  □  Sí,  formalizadas 

2.  Tipo  de  participación  (en  qué) 

1 .  □  No  hay 

2.  □  En  actividades 

3.  □  En  formulación  de 

demandas 

4.  □  En  programación  y/o 

evaluación 

5.  □  En  la  toma  de  decisiones 

6.  □  Otros 

3.  Amplitud  de  la  participación 
(cuántos) 

1.  □  Nula 

2.  □  Reducida 

3.  □  Bastante 

4.  □  Amplia 

2.  Carácter  integral/específico 

1.  □  2.  □  3.  □  4.  □ 

1.  Acciones  orientadas  a  los 
diferentes  factores  vinculados 
al/los  problema/s 

1 .  □  Sólo  a  algunos 

2.  □  A  varios 

3.  □  A  muchos 

2.  Inclusivo  de  promoción, 
prevención  y  asistencia 

1.  □  Sólo  promoción/ 

prevención 

2.  □  Sólo  asistencia 

3.  □  Promoción/prevención  y 

asistencia 

3.  Articulación  entre 
actividades/componentes 

1 .  □  No  articuladas 

2.  □  Regular 

3.  □  Articuladas 
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VARIABLES  E  INDICADORES 


VALORACIONES 


3.  Sustentabilidad  económico- 
financiera 

1.  □  2.  □  3.  □  4.  □ 

1 .  Honorarios  de  personal  pagado 
con  fondos  del  programa 

1.  □  >  del  50  % 

2.  □  entre  25  %  y  50  % 

3.  □  <25  % 

2.  Diversificación/Estructura  por¬ 
centual  de  las  fuentes  de  financia- 
miento  respecto  del  total  del  fi- 
nanciamiento  de  la  OSC 

1.  %  fondos  del  programa: 

2.  %  fondos  prog.  nac.: 

3.  %  fondos  prog.  provine.: 

4.  %  fondos  Arg./organ. 

filantrópicas  externas: 

5.  %  fondos  genuinos: 

6.  %  fondos  de  otras  fuentes: 

aclarar  cuáles 

3.  Capacidad  para  gestión  de 
proyectos 

1 .  □  Escasa 

2.  □  Regular 

3.  □  Suficiente 

4.  Experiencias  previas  en  proyectos 
sociales 

1.  □  Ninguna 

2.  □  Alguna/s 

3.  □  Muchas 

5.  Existencia  de  otros  proyectos 
sociales  en  ejecución  actual  en  la 
OSC 

1.  □  No 

2.  □  Sí,  uno  o  dos 

3.  □  Más  de  dos 

4.  Sustentabilidad  social 

1.  □  2.  □  3.  □  4.  □ 

1 .  Grado  de  conocimiento  de  los 
vecinos  acerca  de  la  OSC  y  su 
desempeño 

1.  □  Bajo 

2.  □  Mediano 

3.  □  Alto 

2.  Adhesión/eonfíanza  de  los  vecinos 
respecto  de  la  OSC 

1.  □  Baja 

2.  □  Mediana 

3.  □  Alta 

3.  Cantidad  de  vecinos  que  realizan 
tareas  voluntarias  en  la  OSC  y/o 
en  el  proyecto 

L  □  No  hay 

2.  □  Hay  <  5  personas 

3.  □  Entre  5  y  10  personas 

4.  □  Hay  >10  personas 
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VARIABLES  E  INDICADORES 

VALORACIONES 

4.  Capacidad  para  formulación  de 
demandas/propuestas  frente  a 
poderes  públicos 

1 .  □  Ninguna 

2.  □  Alguna/s 

3.  □  Muchas 

5.  Capacidad  para 

identificación/priorización  de 
problemas  comunitarios 

1 .  □  Ninguna 

2.  □  Alguna/s 

3.  □  Muchas 

6.  Formulación  de  propuestas  de 
solución 

1 .  □  Ninguna 

2 .  □  Alguna/s 

3 .  □  Muchas 

7.  Presentación  de 

propuestas/demandas  frente  a 
poderes  públicos  locales 

1.  □  Ninguna 

2.  □  Alguna/s 

3 .  □  Muchas 

5.  Capacidad  para  trabajo 
asociativo 

1.  □  2.  □  3.  □  4.  □ 

1.  Acuerdos/convenios  con  otras 
organizaciones  o  instituciones 

1.  □  No 

2.  □  Sí,  no  formales 

3.  □  Sí,  formales 

2.  Tipo  de  actores/organizaciones 
intervinientes 

1 .  □  No  hay 

2.  □  Del  propio  barrio 

3.  □  De  org.  barriales  vecinas 

4.  □  De  áreas 

gubernamentales 

5.  □  De  ONG 

6.  □  Otros 

3.  Tipo  de  asociación 

1.  □  No  hay 

2.  □  Intercambio  de 

información 

3.  □  Articulación  de  recursos 

4.  □  Realización  de  actividades 

conjuntas 

5.  □  Otros 

4.  Inserción  en  redes  o  foros 

1.  □  No 

2.  □  Sí 
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